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寻找 带 误差 地 县 测 到 的 未 知 回归 消 数 的 零点 或 极 
8, 是 系统 辨识 .适应 控制 .模式 识别 .适应 滤波 和 神经 
元 网 络 等 领域 中 都 要 遇 到 的 问题 . 随机 还 近 提 供 了 解 
决 这 一 问题 的 递 推 方法 .本 书 在 一 些 准备 材料 之 后 ， 
在 第 23 章 由 叙述 了 分 析 随 机 过 近 算法 常用 的 三 种 基本 
方法 ,侧重 解释 这 些 方法 本 身 ,而 不 在 于 为 收敛 性 所 加 
条 件 的 强 弱 ， 第 3 章 介 绍 随机 变 界 截 尾 的 随机 交 近 方 
法 , 这 是 一 种 修改 了 的 Robbins-Monro 算法 , 后 者 只 
适用 较 讲 的 一 类 回归 函 效 和 量 测 噪声 ， 这 一 章 还 分 析 
了 算法 的 收 全 性 , 收 钱 速度 及 稳健 性 , 第 4 章 叙述 了 算 
法 的 浙 近 正 态 性 ， 算 法 中 用 慢 阐 减 增益 时 平均 估计 的 
渐 近 有 效 性 . 第 后 章 讨 论 连 续 时 间 算 法 及 相应 的 性 质 . 
最 后 三 章 涉及 随机 逼近 的 应 用 ， 第 6 章 应 用 随机 允 近 
收敛 性 定理 解决 动态 系统 中 各 种 参数 估计 问题 . 第 ? 
章 讨论 信号 处 理 中 的 适应 滤波 问题 ， 表 明 这 类 问题 可 
以 用 随机 过 近来 解决 ， 最 后 一 章 ， 用 随机 中 近 的 结果 
和 处 理 方法 来 研究 随机 并 行 处 理 及 多 传感器 数据 融合 
问题 . 

本 书 适 用 于 从 事 随 机 优化 .系统 与 控制 ,数理 统计 
及 信号 处 理 等 领域 的 学 生 及 科研 人 员 ， 对 从 事实 际 优 
化 问题 的 人 员 , 本 书 也 是 一 本 有 价值 的 参考 书 ， 
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Stochastic Approximation 
Abstract 


The problem of searching for zeros or extrema of & un- 
known regression function observed with noise is often met 
in various fields including system parameter identification, 
adaptive control, patiern recognition, adaptive filtering and 
neural networks. Stochastic approximation provides a recur- 
Bive way to solve this problem. Following some preparatory 
material the book describes three basic methods in Ohapter 2 
which are commonly used for analyzing approximation algo- 
rithms with emphasis on explanation of the methods them- 
selves rather than on conditions required for convergence, 
Chapter 8 presents the stochastic approximation algorithm 
truncated at randomly varying bounds, a modification to the 
elagsical Robbins-Monro algorithm, which is applicable for 
a rather restrictive class of regression functions and obser 
vation noises. Convergence, convergence rates and robustness 
of the algorithm proposed are also analyzed in this chapter. 
Chapter 4 demonstrates the asymptotic normality of the al- 
gorithm and asymptotic efficiency of the averaged estimate 
when a slowly decreasing gain is applied. Continuous-time 
algorithms and their corresponding properties are presented 
in Chapter 5. The last three chapters are of application ori- 
ented. Convergence theorems of stochastic approximation are 
applied to various parameter estimation problems in dynamic 
systems. This is done in Chapter 6. Adaptive filtering in 
signal processing is dealt with in Ohapter 7. It is shown that 
the problem in question can be solved by stochastic approxi- 


2 Abstract 


mation. In the last chapter the parallel processing and mulii- 
sensor data fusion are considered with the help of results and 
techniques developed for stochastic approximation. 

The book is designed for students and researchers in 
stochastic optimization, system and control, mathematical 
Statistics and signal processing. Those who work in practical 
optimization problems will also find the book & valuable 
resource, 
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从 60 年 代 起 , 由 华罗庚 教授 任 主 编 的 < 现代 数学 丛书 ?编辑 委 
员 会 曾 组 织 编 著 ， 并 由 我 社 出 版 了 多 部 具有 很 高 水 平 的 数学 学 术 
专著 ， 有 几 部 专著 已 在 国外 出 了 外 文 版 ， 受 到 国内 外 数学 界 和 广 
大 读者 的 高 度 重 视 , 获得 了 很 高 的 评价 ， 原 编 委 会 中 华罗庚 、 关 丝 
直 , 吴 新 谋 3 位 教授 虽 已 先后 逝世 , [ELI [I1 25 «7A 3» PrdE d B 9t 
Bii n MIB HA. PRES, «SU Ve A 
35» BY di hc TL. fe $t — Rr Gi 

为 了 适应 现代 数学 的 迅速 发 展 ， 更 好 地 反映 我 国 数学 家 近郊 
年 的 优秀 研究 成 果 ， 必 须 大 力 加 强 < 现 代数 学 丛书 ?的 规划 、 编 辑 、 
出 版 工作 ， 充 实 编 委 会 的 力量 ， 考 虚 到 不 少 编 委 年 事 已 高 ， 经 问 
原 编 委 会 中 大 部 分 同志 及 数学 界 有 关 专 家 广泛 征求 意见 后 ， 于 
1990 年 对 编 委 会 作 了 调整 补充 了 一 些 著名 的 中 年 数学 家 和 学 科 
带头 人 , 建立 了 新 的 编 委 会 , 并 进一步 明确 了 本 从 书 的 宗旨 . 

< 现代 数学 丛书 > 新 的 编辑 委员 会 由 苏 步 青 教 授 任 名 BE 
谷 超 吉 教授 任 主编 , 18 位 著名 数学 家 任 委 员 . 编 委 会 负责 推荐 
(或 审定 ) 选 题 和 作者 , 主持 书稿 的 审核 等 工作 ， 

«现代 数学 从 书 > 的 宗旨 是 , 向 国内 外 介绍 我 国 比较 成 熟 的 .对 
学 科 发 展 方向 有 引导 和 作用 的 、 国 内 第 一 流水 平 的 数学 研究 成 果 , IC 
Pie Es Nc UE SERT ELI DLE, 扩大 我 国 数学 研究 成 果 的 影响 , 促 
xt AAAS BS Ac FR AE AY Sb BY Se ARS Tt, 

为 了 实现 上 述 宗 旨 ,; AB AAS HEBR SE EER V. JH 
数学 和 计算 数学 方面 处 于 学 科 发 展 前 沿 、 有 创见 且 具 有 系统 完整 
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研究 成 果 的 现代 数学 学 术 专著 . 
为 出 版 好 < 现代 数学 丛书 >， 我 们 热切 地 期 望 着 数学 界 各 位 专 
家 的 大 力 支 持 和 悉心 指导 ， 并 欢迎 广大 读者 提出 宝贵 的 建议 和 总 
X. 
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在 许多 理论 课题 或 实际 应 用 中 ， 经 常 要 求 一 个 函数 的 零点 或 
极 值 , 如 果 函 数 有 已 知 的 解析 表达 式 , 那么 在 理论 上 解决 这 个 问题 
并 不 困难 ; QU SR BAR ART AY HR SASK, (EEE A Ry DL Z6 
误差 地 量 湖 到 , 那么 有 不 少 行 之 有 效 的 数值 方法 可 供 选 用 ; 当 既 不 
AJ PR PRA EARL, 又 不 能 无 误差 地 量 测 到 函数 值 时 , Sat fep SR e CIS 
FARRE, 正 是 随机 逼近 要 解决 的 问题 . 

不 同 领 域 的 许多 实际 问题 ， 例 如 信号 处 理 领域 中 的 适应 波束 
形成 , 适应 控制 中 极 小 化 性 能 指标 问题 , 模式 识别 统计 方法 中 建立 
分 割 超 平 面 问题 ， 参 数 估 计 中 的 递 推 方 法 等 都 可 归结 为 随机 通 近 
问题 , 它 在 适应 控制 .参数 辨识 .随机 优化 等 领域 中 起 到 重要 作用 ， 
并 在 智能 控制 、 学 习 系 统 、 模 式 识 别 、 神 经 元 网 络 等 领域 中 也 正在 
显示 出 它 的 重要 意义 . 

随机 逼近 创始 于 50 年 代 初 ，Robbins-Monrors 首先 提出 了 
求 未 知 函 数 CER o 的 一 个 递 推算 法 .车 在 % 时 刻 对 2 的 售 
HH e TETRA ot], 在 v2, 处 对 了 (wm,) 进 行 量 测 ， 但 量 浏 量 
Ynya =f (an) 十 si 带 有 误差 ai。 在 文献 [75j 中 建议 用 aussi 来 
修正 wm, 得 到 下 一 步 时 刻 对 a? 的 估计 和 值 ai, a MRR AMR. 24 
n—«co Bj, E-F ELA T0, UA HRR TE E i. 2508] AT He UR; 
另 一 方面 , 4, 趋 于 0 的 速度 也 不 能 太 快 ,否则 可 能 会 使 估计 值 凝聚 
在 某 一 点 , 面 达 不 到 2°. 

在 Robbins-Monro fj 3&3& f£ T-fE JE, BRPLIE IRE £A 
展 ， 主 要 的 研究 昌 标 是 考察 各 种 相关 的 量 测 噪声 "及 招 广 可 迁 
用 的 回归 函 教 范围 ,而 收敛 头 型， 除了 最 初 的 均 方 收 仿 ,更 多 地 
研究 概率 工 收敛 以 及 弱 收 伍 ， 从 研究 方法 讲 ， 文 献 [7 和 是 用 巩 收 
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RAK RMR 1 E SEDE EAE TERRAE, BARE 
点 是 讨论 独立 品 声 ， 它 对 70 年 代 以 前 工作 做 了 一 个 很 好 的 总 结 . 
之 后 ， 文 献 [65] 把 递 推算 法 的 收敛 性 和 微分 方程 的 稳定 性 建立 了 
联系 ， 从 而 使 所 考察 的 量 测 误差 的 范围 月 实质 性 扩大 .这 种 思想 
FE EO 中 得 到 清晰 的 毅 明 .但 这 种 方法 要 事先 假定 算法 给 出 
Ej der EUR Fr. 

Af 8 4836 28, BETCHA APRN D C 但 
又 不 用 事先 假定 算法 有 界 ， 另外, 微分 方程 方法 虽然 富有 启发 性 ， 
但 毕竟 要 从 离散 算法 内 播 成 连续 时 间 的 方程 ， 然 后 再 回 到 离散 时 
[B], 总 有 线圈 子 之 嫌 , 这 就 是 作者 撰写 本 书 的 出 发 点 之 一 .我 们 将 
着 重 研究 稍 作 修改 的 Robbins-Monro 算法 ， 实 质 性 地 放弃 对 A 
U3 ER 3C AMBRE, 同时 也 不 必 事 先 假定 算法 有 界 ， 此 外 ， 
我 们 将 利用 Lyapunov 范 数 的 性 质 ， 直 接 在 离散 时 间 上 解决 收敛 
性 问题 , 而 不 再 到 连续 时 间 里 去 “ 转 ” 一 图 . 

本 书 第 1 章 介 绍 了 要 用 到 的 概率 及 一 些 准 备 知识 ， 有 一 定 专 
业 基 础 的 读者 , 可 以 跳 过 这 一 章 .第 2 章 介绍 研究 随机 有 逼近 的 各 种 
FE, 重 在 方法 本 向, 而 不 拘泥 于 具体 结果 .第 3.4.5 章 研究 随机 
恋 界 截 尾 的 Robbins-Monro F, HE MISE, 稳健 性 . 收 
ABE WUE DERMIS FRIAR, 也 研究 连 
Sat MAK, RIUM RAN PEE, 虽然 很 吸引 人 , 但 目前 已 
有 结果 9， 是 把 问题 转化 为 连续 时 间 的 模拟 退火 来 解决 ， 超 出 了 
本 书 范围 ， 第 6 章 讨论 用 随机 甫 近 的 办 法 来 估计 动态 系统 所 含 的 
未 知 参数 ， 第 了 章 转 向 讨论 在 信号 处 理 和 通讯 中 有 广泛 应 四 背景 
的 适应 性 滤波 算法 ， 我 们 将 给 出 它 的 收 合 性 ,收敛 速度 ,稳健 性 、 浙 
近 正 态 性 和 渐 近 有 效 性 结果 ， 随 机 并 行 处 理 和 多 传感器 数据 融合 
是 80 年 代 后 期 才 逐 浙 引 起 国际 上 广泛 注意 的 新 研究 方向 ， 在 第 8 
章 中 我 们 将 针对 Robbins-Monro 算法 和 适应 性 滤波 算法 给 出 一 
些 有 关上 述 研 究 方 向 的 新 结果 ， 
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准备 知识 


本 章 的 内 容 包 括 概率 论 、 蝴 宙 微 分 方程 及 其 他 领域 的 和 本 书 
有 关 的 一 些 事实 及 概念 , ERBATU RRS, SR 7K 
Hj, 基本 上 不 加 证 明 。 不 熟 炙 这 些 内 容 的 读者 ,承认 这 些 事实 后 ， 
阅读 本 书 其 余 章 节 就 不 会 有 实质 困难 , 有 兴趣 的 读者 , TS RCM 
[28, 72], 


81.1 概率 论 的 一 些 概念 


EOHBRARASH, OPHAWMKRAF ARH A, FH 
全 中 的 o- (o3. RAR F BOP RAB, HMRUTARE: 
OEF, XE ACF, 则 4 的 余 集 deE 多 F 对 可 列 并 封闭 , Bp 当 


AEF, i-i, 2, mf, J (JAE F, 


中 的 元 (集合 ) 叫 随机 事件 ， 定 义 在 多 上 的 函数 PC) 
时 满足 以 下 条 件 ,; OE nui ne S, E 

1. P(A)>0, VAC Z, 

2, P( -—1, 

3. d A WM, MANA, Ytj, BA 

P(C 4,)- 3 P(A), 

(Q, F, P)ti pfo f], 

sg EK oj] E Brem RC E(w), 如果 Plo |£ (9) | oo) 
= 1, 5 £CO GRIS S mpeg. 

对 随机 变量 ,定义 函数 
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F(2)— Pla, £(0) <a), VoC R, 

F(a) my £ iy SAE d a, 

设 t= 1, 是 随机 变量 , RUE C= [Eh KE, 
€ I3 AE ROC RU 

Fama) Pa, xs, e, £a). 
TIL XE PF (ala!) fg BUAE GUT A, 
Fy(a sah) (^ ^ f, Qaeda a, 

那么 fele AE 69 BR, xESRGX. 

WR € BER 


1 _ [a-m > 
Tae exp] ex. Vac Bo >, 
那么 称 & HA AH EA DA, BE AXE (Gauss) 分 布 ， 
n SEAR TE An So AR EET BE BBW 


—__1 _ exp] — iu) "H^ (s— 
(29)? (det R)” 
RD, v, HER" 


Be BRAC SE AUR Be 2 PENAS. 
设 专 为 随机 变量 , PESO) 1, RE ESO a, 8. 记 
Au (o, i27 —£« (4 4-1)277]. 
£M NOENIB E£ 定义 为 | 
BEA| saPelim[ 3 ia POL) +P E>], 
当 Ed «oo 时 , fk E TA, 对 不 一 定 非 负 的 随机 变量 ,可 把 它 
SJEME Qmax(g, OMARE max (  £, 008935, 
£-£-£, 
mE Etc 或 DE- 过 co, 则 定义 的 数学 期 望 也 8 为 
E£-E£*—E£-, 
M BE 有 定义 时 , EEN Bbw Lebesgne-Stieltjes 积分 
ng~{ giP=|" zazr(o)， 
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对 服从 正 态 分 布 的 随机 变量 ，Eé = p, E(f- =o, 对 多 
维 情形 , EE =p, B(£- p E-H" =R, 

uU ip Bom PP, E WL RE. 
1) dm PEF) =1, WK £, vt BL 3c 58) £, RE, 8. 8. (UL 
YE CSS E, IE 

En -z f 8.8, 
2) 如 果 对 任意 8s>0， 有 
| P(|£,—£12-6)— 0, 
RBS, Re Bk A8] £, id (E 
££. 

3) WREEF MMEEIBSEEL. £, wana Fn Co) mE 
Fila), WA E, RAH RHE, LIE £m EFL) — 
Fo. 
4) NUR Eig, El — 0, WHE, mE HAR, 

Eaa & & 6, —> TIE EX 4 EE, 
33 Fy Wr ice e CE ee 

定理 工 .1.I( 单 调 收敛 定理 ) WE OL REDE HEC AE, 
3-H E,=n ss, Eg «oo,8/5 ES, BSE RUE S S) ES. 

定理 1.1.8CFatou 3|38) Pén EL 0),n—1, 2, +, 
En” «co (Ent <00), A 

E lim inf ¢,<lim inf E£,, 
(lim sup E£,« E lim sup Ende 


ERLI EHEAR HE- E 并 且 存在 可 积 控 


HLEA y Elin <a. 8. BA E [£1 0o, 3E H. 
Efa E$, Elf -él — 2 0, 
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在 概率 论 中 有 几 个 常用 的 不 等 式 . 
de6mme8 FFA: 


PUE >a 5i Blg 1j 


Jensen 不 等 式 . 
i Ej£| «eo, g(+)% 0 Borel 可 测 函 数 , 则 
g (Hg) < Eg(£), 

Nanya 不 等 式 ， 
He O<s<t, Nj 

EED «(E i£*, 
Holder FSR. 
设 i<ip<co, l<¢g<oo, > x =1, BA 


E|£z| « (El £15)? (Efn|0t, 
34p—^49--2, Hólder RS ARA Cauchy 不 FA R Schwarz 
不 等 式 . 
Minkowski m3. 
设 pl, m 


(Blg+n|9)? < (£157 Eln), 
"一 不 等 式 ， 
= L 3 r&i, 
x Or E 若 r1, 


Ri (Xie) «o. 3 ir. 

在 概率 论 中 条 件 期 望 是 一 个 重要 概念 ， 设 . 安 ; 是 F HF o- 
代数 ， 即 .多 ; 本 身 是 一 个 9 中 集合 的 0- 代数 ,并且 任 一 AC 
DA ACF. 

根据 Redon-Nikodym gel, XHE— E£ WE XU RUE E 
8， 必 存在 对 Fa WR OLE HE CC LE — ER, (o: (c2) 
€.7),ftt*H£— AEF: RA 


$1.3 TE Ft BRA BRS FFE Fl 5 


f. £d P— f ZAP ss. 


CWE EC |F1). os EHF, FRR, MBS us 
FIFE. 

4 多 ,为 随机 变量 ”生成 的 o- 代 数 多 "， 即 包含 形 如 {6 
nla) <o, Vo€ R}—-WHRAN RE; od, Wid EE! FR 
E(£in), Rn RT CW. 

et Mite aE, AAEE FDE, 40 
.多 :可 测 时 , 则 Eins | 71) =nH | Fy), 4 AF CF np, Bn 
Jum BHF HH o-Z RR, HA Fic F 2, MA 

ECE (CE! Fa) | FymES|F A), 

ygol Bic OL HN EGLI BE FA 
的 条 件 概率 , EPAF). 

对 条 件 期 望 也 成 立 相应 的 单调 收 伍 定理 , Fafon 5/38, 控制 收 
eH, 以 及 de656me 等 不 等 式 ， 

设 伦 ,} 为 随机 变量 序 判 ， 若 对 任意 足 标 集 订 ，…， 访 及 实数 
S, 111. 08, REL. 


k 
P(o. F< my; Ue Es em) = TTP GG, 1 


WWE. A E f s. 

独立 性 是 一 个 重要 概念 , 当世 小 相互 独立 时 ,可 导出 许多 重要 
结论 ， 其 中 有 些 性 质 鸡 比 独立 变量 序 剂 更 广 的 一 类 序列 也 玻 立 ， 
这 类 序列 就 是 下 面 要 提 到 的 上 著 差 序列 ， 


$1.2 fp, BR ARR PS 


设 >0 HAMMAN A, (Fi Ao-RRH, FCF, 
Vei WER 520, E 是 随机 变量 , HAS 对 多 ;可 测 , 这 时 
(En 多 计 岂 适 应 过 程 ， 还 设 Ble.) <oo, ted, 
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如 果 ES, F — 8. Vis, Wig Fs mse; 如 果 EC.) 
<f,, Vira, Wc, Ay Le; WME ECL o£. Vis, Wl 
{Ern FU FH, 

Br AEA F-E MAR, MERE £020, fo, v(o) «t1 € 
J.B v BRA, 

34 是 连续 时 间 时 ， 下 面 设 F: GES, 如 果 非 久光 -可 测 
函数 r, HHE- 1220, 0, r(w)<t} EF. RA m HRM, RE 
By x E60, fe, ro) <6 Fis, Br (o. v(o)«t)€ 
F p= Fa AH S. 右 连 续 ). 

引 理 1.2.1 a T1, T3 »* PN, jui Ti Ava min r, Ta); tiv 
TAMAI mT, TR nitt REN. Erir ta, HH, F: 
HEHE, 则 infr, lim supra, lim infr, 也 是 停 时 ， 

对 停 时 v, 可 定义 到 YY 为 止 的 事件 的 c- 代 数 F r: 

Frs AN {TE VERO, VACF}, 
5]381.2.8. Ho cA, MAa{r<o} (vo), fro), 
{reo} R {r-o GRAMMARS FRA. RE, Fe) HW 
过 程 , Wb £. 对 7 . RTI. 

318 1.2.8. iE (E, A0 M SOR SURR. & WF: BHR, 
5 为 个 时 , 那么 gc 后 和 + 后 首 达 开 集 O 时 间 为 停 时 ， 

证 明 AA RRS AR, 

e Ja Bs C 的 时 间 为 

-| &:CC}, 
0, MREEC, 
c* 后 首 达 OO 的 时 间 为 
[nto gE}, 
o, MRE, 
FHA r 表示 有 理 数 . 由 于 
fw; r th= EEO, o a il [ (6, € C", c ene. 


MALE F BaF, KES, BTELv BM. AOE je 


$1.8 TONES ELE II T 


也 是 停 时 . 

31:38 1.9.4 ir EXE LIE MEA a. s. EME), Dy BY 
WAM, MA, coAinf(m0. $C DD) 相对 于 P 1o (5, it % 
停 时 . 

318 1.8.5. Be, F,) ERM MAB RL BRE BO, 
7 为 对 ES BR, HA Cann, Fo) BEBE EB CT BD. xt 
MMH (Eo Fi), 10 RARER, * 为 对 F ME 
B, WMA Fes FOUE 

定理 1.3.1 WE. )X4 FP, O«t«T, i 为 连续 或 高 
BH, HEL} <o0, 1<p<eo, J 

E (supé)? <(— 2r ) Bee. 
DARRERE ARN EN ETAL, 


2122 HG, FIRAAHESRAW TP, EH 
sup Eg? «oo, HbA 4 tco I £v a. 5. OBA ML, fs > € 


i-*co 
«oo a. 8. 并 且 E£*-oe, iX HU EIER IB] SZ. 
离散 时 间 的 适应 过 程 (aw 多 ,) 若 满足 
E(a,[F .-1)=9, Yaz, 


i BK Hy eZ AF), 
pe = PR eA ito LEE, Ee ee Ha 
声 模型 ， | 

定理 1.2.8， 设 {2., F J RRB, BAY mo 时 ， 
HPA: 

AA{ o SEC eoo), 1«p«2 

ERR, 

21.2.4 (s, .7. PREP A, UM, 外 是 适应 过 
fe. WE 


eap El lenna coo a.8. «C (0, 2], 
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IA Hi ndo 时 
È Masi (ss (o) log Y" (st(a) 6), a. 8. Yo>0 


s (0) =( È 41° ) 
定理 1.2.6(Borel—-Cantelli-Levy 引 理 ) 设 1B.} 是 事 忻 列 ， 
BEF, FCF 4 mj, iol, MAD <o 的 充分 必要 条 
HE S P(B F) «co, 换 句 话说 


D OB ea d=}, 
推论 1.8.1(Borel-Oantelli 引 理 ) (BWR AL. 如 果 
È P(B) <o, 那么 


P(N Ù B, )=0, 


nzi zA 


如 果 B: 相互 独立 , Ht SPA) -o0, FA 


P UB, =i, 


aml ix 


MRED HS, 另 一 个 常用 的 事实 是 Kronecker sE, 
3[3B1.2.6(Kronecker 9|3E) dt 5,—0, i=l, 2, -, bS 


b, VSS, b >, BAM, MR Si- Me 


í--e2 
co, 那么 = $i M, —20, 
证 明 i N.-—0, N, =$- My b=0, MIERA 
N,—> N<oo, 
MER 570, 24 imn Bp, LN, — N ] «o, BY 
Pee kd LAO Ne» 


=| + 1-5 0-9 Mea 


" 随机 微分 方程 
-| rot V+ ES 1-5) rax) | 


&IN.-N | INE $ Od) Wa - NI 


r6——-— 0 
T "—co “ Li 
£—Ü) 


$1.3. 随机 微分 方程 


Uo, 0 LUE YE BED eh, aR coo — 0, Ew, — 0, E foh? 
«oo, Vtze0, 并且 
El (o; —o,) (a, —a42* |-7,] = G—s)l, Vizs250, 
那么 (ws, FA) n] Wiener it 42, 
Wiener 过 程 基 独立 增 量 过 程 ， 即 oo 一 oo fü cu — o; 独立 
Vii ete h > ta, FF H. cx — en 服从 正 态 分 布 ， l 


lim Sup ae = 1, a, B. 

设 适应 过 程 人 ,1) 的 轨 线 平方 可 积 

P(| 1e. ritos) t, Too, 
MAE, 90 €. MEE, Fi) E27z 可 定义 积分 
(eam, 
为 此 先 设 Ss 为 简单 过 程 
£m Solent S Tua, 
Oeil, E A ung. 
这 时 定义 
| [t don S£ (ns on) + hss Cr On), 


Empi Emus, 
MAE, F)HRAETAD HABA, 
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BY ledt<oo. 
mabe, F), E[ Ido, HH 
E| 15 £d 0, 
可 证 | ?doy 有 均 方 极限 , 并 定义 
| I T 
F Edar A limf £tdos, 
fdo A | Tro nfo, 
xt. Fi) €», Tri er, 卫 | E9206<oo, 使 
fMi grla — 0, 
而 把 | Edo 定义 为 | Erdo EER ac s 
T P o (f. 
F edor = lim | Erdos, 
WR ES LE Pai<co, imt, 2, SEA M([ Eidos FJER, 其 
WH 0, 并 且 
B(( Eidos (f eau.) - {Bes (e$ "às. 


i (a: S), (b;, J )/ EIEN WE, (be, F NER, (b, RU 
线 在 [0, T]EWSTL & 


t= fot | a dex fordons, 


(En S7, ) mr Rite, TED RSS UC KA: 
dé — a, di + rdar 
不 言 而 喻 , MRS, QR RRR, ike, EO FA 
HEN, XGLRE DEZ X. | 
1.3.1 Bis, Foe i- HE RT ELSEL (NG, o) EK 


81.3 随机 微分 方程 n 


Hy aT MY MH), lal € eL (Be, FR Um 阵 可 测 过 程 ，|B,| E 
Pr, {wr A. E T 维 Wiener ITE, 
dk, = mdi t+- B,dox, | 


Xj a7 [su], fit, 2) c EOS m. 


-Of (i, 2) f(t, w) OW») 
on AvA dada 
Fiat, oS : ， fe : : ， 
afi. w OM, m BFG, 2) 
gg! Bombr! ^ dada 


LEF, m), felt, DAS, 0)28 e EE ERG, 那么 
d f (4, £)- (fs, £j) TG, Eats ttf ee (1 £,) B, Bil dé 


-+filt, £) Bidar, 

(Os S)RELEDO, TILER AMS H, Z= 

oros, set) By hec- BR ZEL0, JEEE 
生成 的 最 小 o- RE 

Bam) X bx HE— t€ (0, TIA ZAM, 如 果 适 应 过 程 


lën Fo Ba EPn bGOCSO. €. 并 对 任意 1E 
[0, T], 
i t 
Emnt| a dee [b(E)da, a.8, 
WARE T Band FA | 
de= a (Edt +b lE)don £o» — 1-8.1) 
的 强 解 
现在 来 看 线性 随机 微分 方程 
d£; = Afd + bdi + Dido 
(A, F), (by Fò, (Dy 9 都 是 相应 维 数 的 适应 过 程 ,151 € 


85, ID € Zo, |All? € Po. 3E Dus AKRE 


dream Ad, P, mI, Vers, 4.5, 
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那么 上 述 线性 随机 微分 方程 有 唯一 强 角 
£7 so d.e D73 Dod. 


对 一 般 的 非 线性 随机 微分 方程 , PREIS — jg TEE. 
定理 1.3.2 ME alo), ba) W, WE Lipschitz 条 
性 
lace) —a (y) | + bm) — 5G elo — vl, 
Vie D, T], Va, yC Os, (1.3.2) 
CARR, 3-860, 0), 6G, OmtE, TER 那么 方程 
1.3.D#D, T] E fece — 98 
Lipschitz FAF (1.8.2)54 a, (o) fl 5,(o) 要 求 很 强 ， zt s 
长 速度 不 能 高 于 线性 下面 的 条 件 要 弱 得 多 ， 称 为 局 部 Lipschiiz 
HF, 
WHEE n BT, 4 i<T HA 
(la;(2) —a (| + lela) — Be Co) D Irisren, neni 
C, rle-y|, Ya, y€Or, 
这 里 常数 Cr RMF n ET. 
定理 1.3.3 hala), (MxM, aOR de OWER 
部 Lipschitz # fF, 那么 方程 (1.3.1) 在 在 唯一 局 部 强 解 565 OS 
C, C npa teat ig. £e (Ce, 0) bas. 无 界 , Vero, 
我 们 要 用 到 下 面 较 一 般 形式 的 Bellman-Gronwall FSR, 
定理 1.3.& 设 可 测 函 数 m0, fi 之 0, yd, 并 县 


sf h,g,ds« co, Vito, 
那么 
gi he. hs fua T ds, (1.8.8) 
证 明 efe | Pa (fee an hg, dA jd 


«fee f flee ffe s ( at f fuot ania 


€1.3 ARa 13 
继续 先 代 下 去 , 对 重 积分 项 表达 如 下 ， 
f h, f ha f dA ds -| ha fid | "uds, 


| f af ha |. haf dwar ds -| he f ha fu f h, dà du ds 
* F à J 5 i 
$ a 
t į a È (| hy ds) 
-| hafa d ^, | hy dA ds— | hafa He —dys. 
ig it a te a 


用 归纳 法 可 验证 


i n—1 
m Sl Ay da, 
f, hn Jov-[ hs fid ds m | hf Quem y ES. ) ; 
所 以 


Qi Fi +) hf " | maaa NO Tea 
„Cay 

n! 
HBB bg ds<oo, 把 ”一 ce fiif (1.3.8), 口 


推论 I.8.1 Rf EM tt, 那么 从 (1.3.3) 知 
gf (1+ | rel ac) o. pul 


ds 9.05. 


对 离散 时 间 也 有 类似 结果 , 
13 1.8.86 (o, fit R USER SI, B 
gy fi 3g. kz0, (1.3.4) 
那么 
fi h+ Lara, k=O, (1.3.5) 
证 明 记 


k 
Y= Shige, Y-1=0, 
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F p= finge + S hg hr(F at S) + Shag 
= (1cTAÀAY,4acTA,f.. 
所 以 Kya I Gee Hf. 
这 和 式 (1.3.4) 一 起 , (819535 (1.3.5), [1 


$1.4 ERAS ORAT 


ix—q Rie Xs MBEPHAA. |o Dot 
有 简单 证 明 外 , 其 余 未 加 证 明 , 读者 避 参 考 文 献 [16, 49]. 

ACO, RE O" REREN m ERR. ERER 
DHE FREUE Re A 3S (XL KW Penrose-Moore 
方程 ) 来 定义 的 , 这 些 方程 是 ， 


AX A=A, (1.4.1) 
XAX-X, (1.4.2) 

—(AX), | (1.4.8) 
XA-(XAY, (1.4.4) 


DE RHE ARAS HM, X 是 未 知 阵 . 

ju nm, 并 且 阵 A 的 行列 式 det 490, M4 X — A7 JE 
足 上 述 联 立 方程 前 唯一 解 . 对 一 般 的 A, 有 下 面 的 定理 , 

5E3R 1.4.1 BERKS (1.4.1) - (1.4.4) 的 解 存 在 且 叭 
— 这 里 解 记 作 At, CE mx n BE, 称 为 A ER D iE 

证 明 db AERES r, r<min(n, m), FE ARBRE 
n DES [RP Bg — PEW 的 线性 子 空 间 DCA), Rim r e B By 
表示 LAH, WF ARREA GE 8B 阵列 的 线性 组 合 ， 所 
以 站 在 一 个 ”Xm (EC, RR, 

A- BO. —— (44.5) 


因为 A KEA r, 所 以 BR CO RERE, RIRA FNE 
fgg m] 5 4A 5-86. 


Wb v 0 EA A 


i 


$1.4 Be ar Dea S Bah 15 
很 容易 直接 验证 
At =O" 007 B*B)-1B" (1.4.6) 
WEL 4D (1.4.4), 
为 证 唯一 性 , 设 X MY MWR (1.4.1) (1.4.4), BH 
X—X(AXY--XX"'A'-X X*(AY AY 
—X(AX)(AY)'- XAY =X AY AY 
=(XA)(Y AVY - (Y AX AY - (Y A)'Y 
—-YAY =Y. O 
E142 伪 逆 有 以 下 性 质 ， 
Ed a ed 
2) (ATA) — A* C A*)* — AT(A!)*, 
8) A" — ( AA) A*- A*( AA), 
4) A* AA* = A* AA" — A", | 
5) BU WV 4 x E C^" $10" 中 的 西 阵 , 那么 
(UAV t= VAT" 
证 明 1) ALR A BR EK (1.4.5) & A* — C' B? dE A" 
Ay a PRS) A, 所 以 利用 式 (4.4.6) 知 
(A*)* = BD B) (QOC*)"0O- (A*)*. 
[8 CP (1.4.6) 3X 1E Hf ME A HRA, TED eE 
(T eds oS 
2) ig B=0*, C= BBO, 那么 A*A= BO 是 满 秩 分 解 , 所 以 
(A*A)* = O° B*B( B* BUC" B*B)-1(00") IC 
= Q'(OO' 3(B* B) (00*) 30 
SANA PSAN AT, 
4) WA AASB), Mi 5) 可 以 直接 以 方程 
(1.4.1) » (1.4. 4) E iE, [1 
定理 1.4.8 矩阵 代数 方程 AX DIEI ISI 
AA*D=D, WC E RN, 方程 AX =D 的 通 解 为 
X —A7D -(I—A* A)Y (Y 为 任意 维 数 相 容 阵 )， 
我 们 现在 介绍 惩 阵 微分 公式 中 要 用 到 的 一 些 记 导 利 运 寻 ， 并 


16 ‘em WD BOLE 
T WEBB un Ps d Ss AN ZS CY 8 BE) A ox I 8 ES DE 2 
X. 

H E. me By RRO gBP TRIS. 
BA 十 其 余 的 元 素 全 为 0， 设 矩阵 be ose dada d n 
RBH A, isl, e,n, EM 

Ais 
yec A= As CLA. T? 
EM 

我 们 称 vec ARERI, 显然 ved 是 一 个 mm HEX E. 

由 二 面 的 记号 ， 可 以 引出 与 vecd 和 vecd” HR RABE P 
HEX RET EREE. 

矩阵 A — [nu] E 0m x n) E PS, ERA 

A- 3 $ aE 


jal jx 


因此 


At= 2 2 Hn, 


m "n 
vec AT= WM au, veo E, 
(zi j=l 


= [vee Et vee Ph- -vee Iu vee Bye: vee Ela 


(Pin 


| 
C» J 
= [veo HY, vee Bot veo EL, vec 4, 
于 是 我 们 记 
U = [vec Ei vec Eu vee HZ, vee Elre yee Baal, (1.4.8) 
也 就 是 
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vec ATSU vec A, (1.4.9) 

U fj HR oe 
显然 , U Eelma x mn Eri; RE. Oy EI HE HA Tz E A E. 
DU (1.4.10) 


我 们 给 出 在 矩阵 微分 中 十 分 有 用 的 矩阵 运算 — Kronecker 
积 的 定义 及 其 性 质 

BA Cm Xn) HEME A= Cas Rr x s) WA EE B= Du]. 它们 
的 Kronecker 积 表示 成 ADB, 定义 为 如 下 分 朵 阵 


41,5 Q12B dd GB 
GB Qah +++ a PB 

AQB=| " S | (1.4.11) 
Omi (boo B m Ga, B 


易 见 AG) B 是 一 个 (rr x ns) 阶 的 阵 , 它 有 mm ES, 第 (i， j) 
块 是 一 个 (rx s) 阶 的 阵 asB. 
定理 1.4.4 Kronecker 积 有 如 下 的 性 质 和 运算 法 则 ; 


1) Ex. 
车 a 是 一 个 数 , 则 

A®(aB) =al ADB), (1.4.12) 
2) 对 加 法 的 分 配 律 ， 
(a) (A+ B)QC=AQC+ BLE, (1.4.18) 
(b) AGOCB--C) = AGO + AKC, (1.4.14) 
3) 结合 律 . 

ACO BRO) = AKD OA, {1.4.15) 

4) 交换 律 , 设 AW BABA 0m xn) Ar x BE, M 

AG)B-— U.C Beo AYUs, (1.4.16) 


其 中 U, 和 Us 分 别 为 Crmx rm) Fl nx on) RA BRE, 
D 混合 积 法 则 : 只 要 和 矩阵 的 维 数 合 下列 运算 可 行 , 则 有 
( AGO BO) OOD = ACCOB D, (1.4.17) 
6) FAME RM, RBA, PRADA, DU 
(ADB AWB, (1.4.18) 
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T) 积 的 转 置 法 则 ， 
(AGB) — A" GO B", (1.4.19) 
8) PME SHARIN, fA} Alin} JER 4 BST 
征 全 及 对 应 的 特征 天 量 ，{2i+ 和 {gst SER BOA PEMA BOSE NY. 的 
FERE. i ACB 的 特征 值 为 Ar SRE ION (2:09 
yi. 
9) 行列 式 法 则 . HA A BAMA (mom Ono n) BAK, 


则 
det ( AGB) = (det A) "(det B)", (1.4.20) 
10) bii. 
ir(AG)B) — &r A-trB, (1.4.21) 
11) [p ERSTE EEUU, 
veel AY B) - (B°'@A) vec Y , (1.4.22) 
12) EHER Kronecker RHA, 3X (1.4.8) n] E EP, 
U-$3 ESSE. (1.4.28) 


TUE, 我 们 将 给 出 矩阵 微分 的 定义 , A HE IN A 
阵 微分 的 部 分 公式 . 


设 了 = [yu] 是 一 个 (px Bt, Y 关于 数 4 的 导数 定义 为 
(px g) BHR [0y,/02], 记 为 -3 


RE X = [tu] B-Pomx ny Oe, BRIY AFE X 的 导数 
oy 


记 为 oy ELA 

2 87 F. 
Oa ta Om 
oy oY aY 

or ate m n oY 
Ay = Om, O29 Q5, = p zi En Bp, d 

ey ay Y 

Oo Qna j OD my 


(1.4.24) 


由 
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RER E, 58 X 同 阶 , B (mex) Bh, f OY /OX Wy (mp x ng) 
阶 阵 ， 由 于 矢量 是 矩阵 的 特例 ， 因 而 读者 很 容易 写 出 矩阵 关于 矢 
量 导 数 的 定义 和 表达 式 、 FR, RATA MRT PERS I 
式 法 则 , ILIR [45]. 

定理 1.4.5 BR ZER Y 的 矩阵 函数 ， 而 阵 了 X AERE 
X py HEN MK, M 
Z-Z (QE), 


Ep X = [sj (mx BM, Y= iyu] (ux S) BE, Z-— [ess] 
Æ (pxo) Bree. mU 


[4e gr [rozp] qaam 


dX 


Het, MLA (pp) 和 (nxm) 阶 的 单位 阵 ， 


5:2 1.4.6 以 下 十 矩阵 求 导 的 部 分 公式 ， 
@vec ( Ax B) 


1) 9390047 8) BRA, (1.4.26) 
2) 2 yen (XS) -U* (AX GI) + QAX), (1.4.27) 
3) Dye AK o (XBQ) Ar, (1.4.28) 
4) Blog (oet XL (x-7, (1.4.29) 
b) (GeV X" — a (dot X (X 77, (1.4.90) 
e) $9 AX) Ar, (1.4.81) 
7) OT AXI). AX BLABY, (1.4.92) 
8) DEC a nx, (1.4.88) 
9) PEO rem, (1.4.84) 


10) Pw B -(X^BAX-), (1.4.85) 
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1) FEISE, (En XR (1.4.36) 


12) $= - UU - EE,GE, 4 X WMA, (1.4.87) 


其 中 = ZLÉESJG9E,, 


18) 5 =U, MOX 的 元 素 互 相 独立 ， (1.4.88) 
14) fT =U, 4 X RHEL, (1.4.89) 
15) OTT 2-f7 ag Y)edex) Se, (1.4.40) 
16) 2£ ^ - -agx-)U ex», (1.4.41) 
17) (GSP) SF er +e] E ex]ueva. 


(1.4.42) 


第 2 章 


随机 晕 近 算法 的 分 析 方 法 


本 章 将 先 介绍 随机 台 近 记 研 究 的 问题 ， 然 后 以 Robbins- 
Monro 算法 为 对 象 ， 介 绍 研究 算法 收敛 性 的 各 种 常见 方法 (主要 
是 缺 方法 、 常 微分 方程 方法 、Lyapunov 函数 方法 ) 以 及 各 种 方法 
所用 的 上 典型 条 件 和 和 相应 的 收敛 性 定理 ， 


$2.1 随机 逼近 算法 


对 许多 实际 问题 和 理论 问题 的 研究 ， 常 常 归结 为 一 个 非 线性 
方程 组 的 求 根 问题 , WARALE, AN RB TAD AREA 
值 解法 ,例如 Newton Hi., BE, 在 很 多 实际 回 题 中 ， 人们 并 
不 知道 方程 中 些 线 性 函数 的 形式 , 只 可 以 对 给 定 的 自 变 量 值 ; 带 随 
Li 253 NU BR, ARLE, SHE RIP RAB 
ATE oR Be ER, 是 一 个 从 实践 到 理论 都 很 重要 的 问题 ， 

RA Ba ka), sE R, hCo)€ RSEBIE ROS o, E] 

h (a9) — 0. (2.1.1) 

AAC) H UFER AA mc HARM. 但 量 测 带 有 误差 , How 
第 nn 次 量 测 时 所 取 定 的 自 变 量 值 , is PO XLI ROS 

Ynti =A 9.) 十 Saat: (2.1.2) 
fe,} 是 量 测 误差 序列 , TURRET m CO 称 为 回归 函数 ， 

用 实际 得 到 的 数据 序列 (us) 和 fy}, SOR [BU RAR 25, 
这 就 是 随机 逼近 问题 ， 在 随机 系统 的 信 计 、 预报 . 控制 和 优化 中 ， 
问题 常常 妇 结 为 随机 逼近 ， 王 面 用 一 个 例子 说 明 随 机 通 近 的 实际 
ft. 
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假设 发 明了 一 种 新 药 ， 必 须 确定 它 的 最 佳 剂量 ， 设 剂量 为 x， 
人 服药 后 的 反应 为 fie), MANEESH RERNA EX 
h(m)=fi@)—a, BR, RBM FC) E ACUOUEER JE OE, Ui 
写法 ， 人 们 无 法 精确 地 知道 药物 剂量 与 药物 反应 之 间 对 应 关系 
h(*) , fan] CPLR, 得 到 

Yni f En) EH Bl, (2.1.8) 

Ea- 5C By [8] A A ER EI t EBLE A A. 

1951 Æ, Robbins 和 Monro 首次 提出 并 研究 了 一 种 随机 3E 
近 算 法 US, 他 们 取 数 列 (o 为 增益 系数 ， 


0770, Z 4,00, BOO, (2.1.4) 
对 2? BR n+] KIB 
Dnt = En Annt (2.1.5) 


Heeb gy, WA (2.1.2) Bp X. XX OE HO Ay Robbins Monro 
(RM) 算法 ， ii, RIET 为 相互 独立 的 情况 ， 并 且 一 
1, 在 无 (严格 单调 时 , 他 们 证 明了 m.p o? BE ye OE 


HE s, —2" 1?-—30, 
ROS 


虽然 上 面 的 结果 是 在 较 强 条 件 下 得 到 和 芍 ， 但 这 标志 着 人 们 找 
到 了 对 理论 和 实际 都 很 重要 的 这 类 向 是 竟 一 各 外 埋 办 法 。 随 机 通 
近 癌 题 竟 研究 一 直 吸 引荐 许多 应 用 数学 家 、 统 计 学 家 和 系统 与 控 
制 专家 的 关注 ， 志 涉及 的 领域 有 过 程 统 计 , 系统 辨识 与 参数 估计 
适应 性 控制 、 随 机 优化 与 决策 和 信号 处 理 等 . 

在 RM 算法 提出 后 的 第 二 年 ， 出 现 了 Kiefer- Wolfowitz 
(CK WO EO") 也 就 是 求 hn) PE, 如 果 能 直接 量 测 AC) 
药 导 数 ,那么 问题 就 归结 为 上 面 的 RM 算法 .但 有 时 只 能 量 测 AC) 
AS, 只 好 利用 及 (-) 的 量 测 值 的 差 高 去 信 计 (") 的 导数 但 ,这 就 
Ei KW 算法 的 基本 思想 ， 因 此 , KW 算法 与 RM 算法 相 比 较 ， 除 
了 在 量 测 点 上 有 一 些 变化 外 ， 算 法 的 基本 形式 及 理论 研究 的 基本 
思想 都 是 一 致 的 ， 


S 4.1 EPELA E | 23 
增益 系数 (a) MP EE CHAM (2.1.4), 
FUB JE URDC EES DS ELSE RE HARUM. RE Da < 


co 的 实质 是 a da T 0. UMER RIE BOE US, A 
aE RAREN E BRER FE, B an 中 的 msc 一 这 0, 但 是 


Vasco 又 说 明 ，a ET O 的 速度 不 能 太 快 ， 因为 ADR “< 
co, 这 时 即使 c= 0,2(+) — BOR 1A C] e, 那么 
S joni X] S > a |h Ce) | «c3 Gr, 


这 表明 增 量 lan anl MSE x6 无关 地 一 至 有 界 ， 因 而 当初 
[co 与 2 相距 很 远 时 , 2 不 可 能 通 近 o, 即使 有 极限 也 不 是 a, 


这 当然 不 是 我 们 所 希望 的 , DAVIA Da =, 


对 任何 一 种 递 推算 法 , MRER REAR. A TO 2E USUS, 在 

量 油 误差 为 击 差 序列 时 , LAT ARR RPS ERR ote, 如 

Ey Fy ie Se An JL Ab ab ek, A [74] 比较 全 面 地 总 结 了 20 年 的 

进展 ， 裔 差 序列 是 一 种 不 相关 列 , RE [ox] 生成 的 滑动 平均 
(MA) | 

By = Atos t Aten + Anr (2.1.6) 


Bea, TPH RMR CR PO) a Re 
穷 丰 关 的 , Me Lee Be ae CARMA D5 
8, -- Bie, i7 +B Gag = Anta t aeui rr des, 
(2.1.7) 
AD T0 年 代 中 , 对 相关 噪声 下 的 随机 逼近 收 伍 性 分 析 ， 还 没 
有 合适 的 方法 ， 究 其 原因 , 从 研究 方法 上 看 , ANE UC SUE 
理 来 证 明 算 法 的 站 化 性 ， 而 当量 滑 误 差 无 窃 相 关 时 就 破坏 了 应 用 
HRT EEA BTS. 此 外 , (RE ES AH REL RE RE £5 
WRB AR, BARR UR ARES RSH 
i. 
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1977 ££, 瑞典 学 者 Ljung L EA BAP RE pe dE CSXTE AY T 
时 , a in (2.1.9) RKR RARE, SPN RAAT 
E 
do Cy) (2.1.8) 
di 
HETER, MUR UL BeA facta, HAI 
(2.1.5) 3m 
Gnas) adeo ei Pe lot)) Hn (2.1.9) 
由 于 随 o, RAF 0,2, 的 作用 将 被 压制 下 去 , 于 是 得 到 方程 (2.1.8). 
Ljung 提出 的 利用 常 微分 方程 稳定 狂 定理 来 证 明 算 法 履 敛 狂 的 方 
法 ， 简 称 为 常 微分 方程 (ODBE) 方 法 ea， 数学 上 较 严密 的 叙述 可 见 
Kushner 和 Clark ij 39309, XI ERELGB XE RETE B it 25 Up 90 3€ 
El, 证 明 算法 收敛 的 本 质 不 在 于 把 数据 内 插 成 连续 西数 , 也 不 在 于 
导 找 这 些 画 数 的 “ 尾 西 数 *" 所 满足 的 微分 方程 , 面 在 于 存在 入 ("》 
相应 的 Lyapunov 西数 %")， 从 后 面 的 章节 可 以 看 到 , 不 必 微 数 
据 的 内 插画 数 ， 可 以 证 明 v(%,) 不 可 能 无 穷 次 穿越 任 一 非 零 区 间 ， 
从 面 可 篇 捷 地 证 明 算法 的 大 范围 收敛 性 , 同时 , 还 可 得 到 稳健 性 结 
R. 我 们 称 这 种 方法 为 Lyapunov 函数 "方法 。 


$2.2 # 方法 


ARAKI RM 算法 的 收敛 性 ， 主 要 针对 不 相关 量 测 曲 声 
的 情形 ， 这 个 方法 的 基本 思路 是 , 首先 设法 把 到 讨论 的 收 全 性 问 
题 中 的 序列 转化 为 某 一 个 上 掀 或 欧 序 询 ， 然 后 证 明 这 样 的 诸 序 列 
sk Ja Buc oc RE XR AK PE. 获得 有 靳 序列 的 收敛 性 , TEE EURUSUIR] MESE 
讨论 的 序列 的 收敛 性 、 为 了 说 明 这 种 方法 , 我 们 来 证 明 下 面 的 定 
H, 

我 们 要 用 到 下 面 假设 ， 

A2.2.1 39 KB fü ie. HR E. 


§ 2.8 ER HE 25 


«70, Sas, Sal<oo, (2.2.1) 


A222 FRR AAA ER — Wr S & i Lyapunov p 
v(2z), H' — R, WRU PRE 
v(2)770, Voss", o(a —0,  :4|s[|— eo 时, v (m) co, 
(2.2.2) 
JF EOS HEX 620, 有 
Sup tlo) h(a) = — 8.0, (2.2.8) 


A2.2.8 RIRH e, Fn) JOE Ces TKR ma 
… 09) 满足 
Een lF , 1) =0, Ele,’ <o, (2.2.4) 
À 2.2.4 [UAH Aon E 
lA Ca) |? --EClex||3] 73 1) <e(1+o(a)), VeRO, (2.2.5) 

在 本 书 中 常用 到 的 c, eu m 表 常 数 ， 同 样 的 6 在 不 同 地 方 可 
BEAR n). 

7139 9.9.1. 3 A 2.2.1—4A 2.2.4 Ry, 则 对 性 意 给 定 的 初 
值 2o, Hi ES (2.1.5) Br s CBE m. 几乎 处 处 收敛 到 a. 

在 证 明定 理 之 前 , 先 证 3 个 引 理 ， 

OG EB 中 的 Borel R, iF rra ER o- NMR, eM oH 
fat M Gm) d 85 BI OE e €G, 定义 go=0),， H Fles] = 
[mE G1 U [s € G, CO] Us ULMER, e, WER, MEG], 
Fr [on] €.7 ,, Mo JE PEINE. 

2133 9.9.1 B v(2)250, o(a) JEdE T Eh, 即 

^OEQv(n)|.7.a)*v(x1:), 
MA (oos uo, Ax) BEIENEE, Xx Ho ^ k— min(o, k), 

证 明 ”这 是 引 悍 工 .2.4 药 部 分 结论 , 它 的 证 明 如 下 : 

U( De Ax) = Us) Lee ak- V (0j) Dto t-11. 
由 于 vmo) Its zx-1; 7 V (29) Preso t't ^V (24-1) Lco- 
所 以 eae) Ep gai MP. x-i RDUM. 
从 下 面 一 连 串 等 式 和 不 等 式 , S| RE E ie, 


26 5E LB rA Ease Er 2E sp 2 
E(a(@e ax) LF x1) = P(o) Ir, cei + Tipe uuu E CIES, | Vu) 
e Uma) Fr, er- t Dto sk—21¥ (21) 
=P (Dr G-1). Ll 
338 2.9.2. i v(2):0, Vo, (wla), 多 切 为 非 负 上 BR FF 
H 
Eolas) | x) <0 (ary) — Ox Ico «33; 
a0, Pamo, ax 为 实数 ， 
MA Plo<ooj =1; 即 {zw} 在 有 限时 间 内 跑 出 GF, 


k 
征明 设 Vya177 V (Mir) deat 十 之 Gi Ioa, 


那么 — EQ) (Am) — 04) osi E Adis om t. 
iB IBMCOUESE 1.2.2, An aa 收敛 到 有 穷 极限 , 


所 以 D aTe» <00 a8, 

ED P POTE =ù, 

m [o ec] c [Saleno], 

所 以 Ple=co]=0 或 Plo<oo]=L. 口 


现在 证 明定 理 2.2.1, 
H .A2.2.8 $135 (2.1.0) R m, EF, TMH. A Taylor 
展 式 
(2,41) = (2,) + ODE (2) (h(n) 十 Bt 


+E alin) tena) Uas (En) iG) Henna) 


Cc.) +8507 Dn) Ena + uas WA Gn) 1? 
—- 12,4415) -ows (mh). (2.2.6) 
xx EE, 的 分 量 在 HL oa 的 相应 分 量 之 间 ， 
因而 由 He (ap) = v( ay }<oo, 3X(2.2.8). RC 2.2.4), X 
(2.2.5) fi Bel (an) 8a p1 = E(vz(z,) E Ceny Fn) =O nr 38 HE 35 108 


S a.d mo E 法 ar 
到 Ea(a,) «oo, PE 
E(o(z,41) | Fn) «v(2,) t-cesas (1-7 9(2,)) "a ve Cm A (m,). 
(2.2.7) 
“Fm HE — AAE E Bir un, F ad, 令 
toni Fv)) TE (eat), (2.2.8) 


于 是 由 式 (2.2.7) 得 
Eom F [1 v(2,) --eeiad (12-0 (2,)) 


+ 4,05 (on)h (on)] IT (oen) 


= Tavs (oh (es) TT (Lena). (2.2.9) 
FAR (2.2.3) E onal Fn) EE, 2.8. WERE, 

注意 到 Sal<oo, HU IL +cciat) «oo, ILM v, WOE 
A olan) as, Wee, 

XHME-— s>0, FA of 表示 im Mi G.—{a, lo-lo Bj 
时 间 ， 用 ot 表示 在 oi 后 初出 G 的 时 间 ; oi-minit >of, 
CG}, WANAE i MA (2.2.9), MR (2.2.9) 还 订 得 ， 

E Ynyr | F S) = Vy Hirion ECHECS 
S Ts — D, tetonit. 
FA 9 28.2.2.2 4I Ploi<co]—1, BB m — EHAA GH. HT ¢ HER, 
所 以 存在 于 列 (ml, 24 $—o MM, hoo, A lla, --'|«s MAF 
e 性 意 , 所 以 存在 子 列 仍 用 (ou) Hm, W 1o — 2] —50, (AB 


WE v(24)2. 8. CS, 所 以 必须 有 v(x) 一 > 0 a.8. BS (2.2.2), 
由 此 知 mr => aa, B., [3 


DT TE HE HE SOR PrRHE BI BL FF BRE PE, RIF 
列 为 相关 序列 , 特别 是 无 穷 相 关 序 列 , MUR ME BR Ra, S 
考 文献 [74 是 90 年 代 以 前 用 钠 方 法 研究 随机 膛 近 的 总 里， 


d$ c 随机 逼近 算法 的 分 析 方 法 第 2 章 


82.9. 常 微分 方程 方法 


加 方法 对 量 测 噪 声 要 求 较 严 ， 而 常 微 分 方程 方法 所 利用 
18192171 Te fae EE BRIER RATE, TRS Bj— 
RRE, "RT EH YP RR EL RK 
EE] ER c Oa HE 

9 9T 7L ZEE EO 8] PUE PATRAS, So 
TF: 

定理 .38.1 (Arzela—-Ascoli)™ 设 以 和 EA 为 足 标 的 一 族 
连续 函数 LAO], 2€ [0, co) 等 度 连续 ( 即 对 任 总 1E (0, o0) 及 
s>0, 存在 3>0, 只 要 t-s <8, Mf.) -fi@ | 8, VAE A), 
并 且 一 致 有 界 ， 风 一 定 存在 连续 函数 FO) RAG) 的 于 序列 
{7.4.0}, WE t MUR SI IBI, 一 致 地 有 

fant) FE) | —> 0, 
SER RAT A 
2,— (a) , $290, (a9) =0, (2.8.1) 

:x382.8.2. 如果 存在 连续 可 微 函 数 v(0)—0, Vasa 

v(a*) 20, 25 ||| Ff, *(2) 00, EX Yata’, 

wt (2)À (a) <0, (2.3.2) 
那么 从 任意 初 值 开 始 , 当 2o 时 方程 (2.3.1) HERD T. 9^, 
也 就 是 说 , oo 是 方程 (2.3.1) 的 大 范围 渐 近 稳定 解 . | 

SA EAE A LR [49] 的 推论 5.8, HHS scm (47, 
64], 

下 面 引进 一 组 条 忻 A2.3. 


A2.3.1 >O, a—> 0, 3 a= 00, (2.3.8) 


A2,8.2 存在 二 次 连续 可 微 的 LyapunoY 函数 vo), WE 
以 下 条 性 
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a7 0, Yra, e(a) =0, 4 |a|| 00 Bf, v(2)— oo, 
(2.3.4) 
Hf | 
vi(m)h(m)-0, Yao? (2.3.5) 
A2.9.8 和 量 测 误差 序列 {8,} WE 


2,7-6,--v,, EP S deena RM "a 一 一 > 0, as., (2.3.6) 
i=] noo 


$9.3.1 SBR A2.3.1 89 T A2.2.1, A2.8.2 E WTA 
2.2.2 Pos) MAA, A 2.2.4 在 这 里 不 要 求 ， 这 因为 ODE 
方法 要 预 完 假设 算法 is HRA, BME A 2.2.4 EB 
设 算法 一 臻 有 界 在 保证 算法 中 证 性 方面 有 相互 苦 民 的 作用 .这 里 
Bai A 2.3.8 15, A2.2.8 BIS ME A 2.9.3 8] (a I FRA 
42.2.83 05 BHRMERA, WHAATBRAK-BARHKA 随 
机 序列 ， 甚 至 还 可 以 通过 上 2.3.3 把 $3.1 引言 中 提 到 的 求 回 归 
函数 极 值 的 KW 算法 化 为 RM 算法 的 特例 来 研究 它 的 收敛 性 ， 

TH: 举例 来 说 明 式 (2.3.6) PA te} 可 以 是 一 个 无 穷 相 关 
的 随机 序列 . 

例 2.3.1 rie) EA Re PS (os, 57. 所 构成 的 无 
穷 项 滑动 平均 序列 , 即 

85,77 On t B40, 3 + Byoy xt, By I, (2.8.7) 
其 中 
E (oml F n) =0, EClosai^1 4), 


IB,| «cn, Vr. 


还 设 A2.3.1 中 的 (,) 满足 Decco, kM, 容易 验证 ， 
对 Vn, (Sao) F man IE AP AMR, BUC] as, 


F na, HEAR SCF BE. 


Wed(r+Z)/2>1,s= SL Rb L0. 于 是 在 定理 


心 
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1.2.1 >Rp=2, PAM ER e>0, | 
Pl sup [Sao | >:|-z1 sup SBS aoma | 


man 


é— 1 = m & 
ei SEIS EP op BEL 
= 1 ~ 
Cy 之 PT zuo E eu 9, (2.3.8) 


MARETA He SP {eur | Sineu |>} <o, 87 


Borel-Cantelli 218 (3&16 1.2.1), 42 (e,) BRE A 2.3.8, iE 
3&9 — ^ AEH ABBR H ARMA) RADU S t dn A, 
(2.3.7), BH. LB.) 具有 负 指 数 衰减 速度 的 序列 ， IN HG fae B 
ARMA 序列 也 就 成 为 式 (2.3.7) 记 表示 序列 的 特 锁 ， 在 文献 149] 
中 专 2.2 还 例 举 了 一 些 满足 A2.3.3 的 {e,} 的 例子 . 

现在 我 们 给 出 用 常 微分 方程 方法 证 明 的 RM 算法 大 范围 收 
SR PERS RE 

x: 23.9.8 BAC) BRAT MRE RUM ES. 
ŽE A.2.8 成 立 , 还 设 算法 (2.1.5) 所 给 出 fo} 3.8. -— SUR S 
则 对 任意 给 定 的 初 值 v, 

证 明 ”将 证 明 过 程 分 成 生 步 . 

Wisk 把 (2. Hid ebd CAE E GE PRI, RARBKAA 
平移 单位 长 度 , POE ERES C. 
b> 


8.8., 


n-i 
加 一 名 人 i9— 0, m(t) =maxi{n, int}, (2.3.8) 


se EM 外, 它 是 内 揪 长 度 为 Los] 的 o. BES f, 即 


nyt — t t— in 
Gn 


ai MES, qe Pa t d, 24:1, EE [tn bnti]. 


(2.3.10) 
216471 Hid 


82.3 dí All hth ik 31 


n—1 
Ja A 2186, (2.3.11) 


则 of Js PIECE BE {ant Bg. BRE ATA. 
BE XL — XE SE EE Uns Q0 pg 


y(t) aua. (2.8.12) 
236 YEW {o (0) 9 JE Arzelà-Ascoli 定理 的 条 件 ， 得 到 
— TR [R 2E 3t e(t), 
设 
Tc, Ve Vas tE Ltn, bat ), (2.3.18) 


BR, dx 2.3.9) 35 (2.3.12) 41, 
eoa |G) +h dst alee, (2.3.14) 


且 由 定理 假设 , 对 任 固 定 o, 1o, 00: ERAR, HEU (D T 
XE RE SERE IE BER. 
对 任 270,918 


lo 人 + 本 一 的 | CD 二 Ps 


+ |Zara gal (2.3.15) 
Hy 42.3.8, q? BA ioo BT RAR, Br VASCA 2.150 HG 
边 后 一 项 随 4 一 0 对 n 一 致 地 趋 于 0， 同时 由 A 2.9.9 和 六 (zr) 在 
iC [0, oo ARTE, (2.3.15) AU 1 项 也 随 4 一 0 310 — 
致 地 趋 于 0. 对 4<0 成 立 类 似 的 推理 , BELA is. 02 1 等 度 连续 . T 
是 由 Arzela-Ascoli sgg HR, (a, (2) p PA LAM P312, (2) 5 一 
致 地 在 任意 有 限 区 间 上 上 收敛 于 一 个 连续 函数 w(t), 
第 3 步 证 明 oj) 


(2 人 ) (2.3.16) 


WH (2.3.15), A 2.9.9 Ag? ATEN: 
a(t+J4>—a(t) _ 1 I mittnetd) 


4Á A n ie h(2,)ds 


+ ”aas 一 | AG Das] 


fab ng) fmit +x] 
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tm(¥+He+4) 
SS m 1 im 


Ll ye Jt (Eng) h (,)ds, (2.3.1T) 
这 最 后 一 个 等 式 成 立 是 因为 由 式 (2.83.9) 知 


th dao —— Ù, 
1—o06G 


& 
mt nob 1 
Og = ; 2, ; e, Vé cC {1, 2, "ttg mt -4-n; 4- A) 
—mnü-a 
—m(i4- m), (2.3.18) 
ER 
On A 十 UÜmtt ng 
E+ "y — Gant cap O1 < betting) T Dj 
=tttin titel +Ret Ou; (2.3.19) 


于 是 存在 4,6 [0, Atan tm), SE $C (1, 2, e, mpm 
A) — m m), 有 
Lntt oai = Ta FE + Djs (2.3.20) 
d35(2.3.17). (2.3.20) n] $8 
p(t-+ A) —2(00 
4 


4 mil ^2ng-À) 


=Z | lim >> ~ e) AECE] + 4h (m0) | 


izmit4n 
mica A) —mlMn32-— 


= h(a(t)) ++ lim > Gt np i [A (Ba, (E+ ts) ) 
A Ro (eS 


—h (a, () +R (am 0) — AC), (2.3.21) 
BAR (2.3.19) A 2,00 H—- BA, 上 式 右边 随 40 而 
ECT A0), WAM 4ON RR RR, 这 就 证 明了 式 
(2.3.16), 
3 4 3p Ka a 到 2 m 


由 点 3.3.23 及 定理 2.3.2 41a Jg zt) 的 大 范围 渐 近 稳定 解 ， 
FRA 
a(t) z? a, (2.9.22) 


PR PRT) 8 FES} Bl S 2.3.22) Some re REB TE, 


"we ir 
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FH, 用 反 证 法 证 明 (e) -FEIRA 2, 
PFE Fion rE, HR (2.3.22), MOMS e, XE 


PK usco 
ft to, SHE tte, A 
lett) — a? | -— [m — a] /4, (2.3.28) 
I] E ix, 
| 和 — 2!) « | z — a | /4. (2.3.24) 
sh (4.3.10) FI (2.3.12), RN BS 
by, = Deng = Dita —tulttotds = t,t, ( tw +x) , (2.8.25) 
其 中 Lt tol 表示 te to 的 整数 部 分 ; P] sic, A Mic 
[tet] Jy ow, W fon, (0 P 也 是 一 臻 有 轩 和 等 度 连续 的 ， 所 以 也 
可 抽出 一 子 列 , 不 妨 仍 记 为 sm. 四, 对 任何 有 限 区 间 一 致 地 有 
mm, LE) ze. (2.3.28) 


子 是 存在 ke bk WA 
les 0) — 20) |< |o — 2] /4, VE [ts, £,4-1]. 
(2.3.2) 
AX (2.9.23) 835 (2.9.21) MAL, H kka 时 ， 
125,0) ~ 2° |< 1z—2*1/2, VtC (tu, tatl, 
(2.3.28) 
XX FE, B1 X (2.3.25) 和 式 (2.3.28) 知 , 存在 ka 使 当 Esc H, 
len, — 29] << far —2]/2, (2.3.29) 
1E 8855(2.3.24), 由 上 式 可 得 出 


Ja a |< [22] + lan, 2 (I +) otl 
sae 
-3 [zs], 


而 这 不 可 能 , 因此 (s) ETS EME. — D] 

在 定理 证 明 的 第 2 步 申 ,{zo} 的 几乎 处 处 一 致 有 界 的 假设 是 不 
可 少 的 , 否 册 ,就 无 法 应 用 Avzelà-AscoU 定理 ,因此 ODE 方法 昌 
然 放 宽 了 对 量 测 噪声 的 限制 , 但 额外 要 求 {m,} 有 界 是 不 尽 人 意 的 ， 
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文献 [18，19] 把 ODE 方法 和 对 方法 相 结 合 ， 不 下 事先 要 求 nu] 
有 界 , 对 较 一 般 的 回归 画 数 和 不 相关 噪声 , 成 功 地 进行 了 收敛 性 分 
if. ODE 方法 要 求 A2.3.2 中 的 Lyapunov 函数 oC) SH LH 
微分 方程 大 范围 浙 近 稳定 性 定理 要 求 , 这 个 条 件 还 可 能 减弱 , 详 见 
下 面 一 节 . 


§2.4 Lyapunov 函数 方法 


上 一 节 中 , 在 等 法 一 致 用 界 的 前 提 下 , 利用 A3.3.2 作为 常 微 
从 方程 大 范围 渐 近 稳定 的 充分 条 件 ， 证 明了 算法 的 大 范围 收敛 
性 ， 正 如 我 们 在 $2.3 KENY, ODE 方法 虽然 扩大 了 噪声 的 范 
E], 但 要 事先 假定 算法 有 界 , 在 下 一 章 中 , 我 们 将 克服 这 个 不 足 , 另 
一 方面 , ODE 方法 比较 繁 项 , 要 求 回归 函数 是 连续 的 , 并 且 不 能 在 
A2.8.2 不 严格 满足 时 使 用 , 不易 用 于 算法 稳健 性 分 析 ， 这 一 节 ， 
我 们 不 用 ODE 方法 ， 而 直接 用 Lyapunov BRN. 在 算法 
有 和 界 狂 的 假设 下 , 米 证 明 算法 的 收 仑 性， 实际 上 , 我 们 将 证 明 比 定 
理 2.3.8 更 强 一 些 的 结果 ,为 此 引入 条 件 A 2.4. 
下 而 引入 网 天 空间 中 两 个 集合 之 间 的 距离 
d(8,, SÒ -inf(]e—y|; YE Sn y€ Sz), — (2.4.1) 
A2.4.0 A()3; R'—R! 的 Borel WWA HARARE 有 
FR scd B A(s)-0, 
A2.4.1 #1 A2.8.1 88. 
A2.4.2 a) 存在 二 次 连续 可 微 BE XE v) CR E E M: 
RIOR, fi 
X EX: 47570, F 
sup rv) VD) <0, (2.4.2) 


dzdür,J)»4 
b) my) =const, RAW [E— o. WB d(e, J)>0, 
必 有 dala), v(J)) > 0, RE v(J) iy; y= v(2), YET}. 
id 


1 fa^ 


Bad Lyapunot ana 5 E 85 
mE, P) - max] m, S aT. (2.4.8) 
À2.4.8. 3 [z,,) Wave, 则 


| meets 
S, Mibi 
i-m: 


E 


[e YE LO, T. 


Ld LI 1 
Fm limsup >; 
1-0 i= co 


(2.4.4) 


注 2.9.1 C ACE SERI, BIR 2.4. 2D) SEU A @) (a) 
<0, VecJ, TX.4. 4) IR SERE, Cnn 0. 


iE2.4.2. MEW HH Es. 首先 现在 不 要 求 AC) 连续, 并 
RRC) 的 零点 不 一 定 是 单 点 ， 它 可 以 是 一 个 集合 了。 MACE 
se, = 时, fe EIO.4.0 BH Fa 2.3.53, FA A2.4.2b) 
一 定 成 立 ， 我 们 也 不 要 求 当 [aco Ri, v(m) oo, Wah, 3 A 
2.3.3 成 立时 ; À 2.4.8 ~ E LE. 

Ti nga, vm, ) <1, v(mau be, O1 «vm a, Ve. n 
«ema, BAR VOS, rn, Uam ra ey (81, 9s], 

2:32.4.1 Bio) SRR, oC ES BRA w, 
如 果 对 {od PER {ent np cs>>0, 7120 X ke fi 

len- enl aat, VCO, 7,], vm; lys msim(lu, T), 
VR, (2.4.5) 
并 且 on, hmm, T), Ax2.1 RAED) EX. RB 
么 在 点 2.4 条 件 下 (但 不 要 求生 2.4.23b))， 对 任 一 区 间 [Bn 8], 
9 «05, HL SE d( (ds, 89], v(J2) >0, 对 这 个 国定 的 o, 

i) X4 5:0. Hj." olo d 70 SF iX 2E 48 [O., 09] 及 UE bo XB 

穿越 子 列 的 起 始点 [ind — BUB JC 两 者 不 可 能 同时 成 立 ， 

ii) 4 ði ĝe HJ, "o, A ROA ow) AE 0," BA ET fib 

同时 成 立 . 

WEB) FETE ASS, 我 们 首先 注意 到 , 当 e. AAR, 那 
“at A240 BR A2.4.8 ZR FE T. Al2.4.5)- E HV SF. 

i) BEE [9,4 92), d([8u 52], oF) > 0, vand BAKE 
bk [0,, So], El v(m,,) 81, tmu; be, Oi v(m) <be, Vb, ny 


36 Rat SSR ey S 2 
$m, 3t A lanle, vi> 

从 lenll ee, A 2.4.0 RE 2.4.1 AJ. Vaca — su = Gu UU laa? ER 

Bmt) 0 但 (mue) OO ts) LED eo EET EL von 


一 一 一 一 因 
ie on 9i, 


由 于 ws AF TEZEI 为 简化 符号 , 仍 用 ww ERRE 
子 列 ， ea Loos z, 即 
v(a) <lim or 8, (9.4.6) 
Br d(s, J)206:-0, RT wah, BILAN Q.4.0) R c, 
el, WFLA E 
dlam, >Ê, Vm,ny«m«m(w, T), (2.4.7) 
Hx 2.4.50 RRS PAR, BAF È: E — mul RT, BE 


Vita PL) 一 vm.) = (Gute, P4477 Dug) Va (x) 
+ Emen D1 984)" (0E) — Vel £)), (2.4.8 
由 于 2,2, I & TEASE ld — nx 26,T, 所 以 从 人 2.4. 
DAL TOO, 35(2.4.8) FH RAR BRA oT), 从 引 
理 假设 , On His (2.1.2) s (2.1.5) E 3G, me mec mmy, T), 所 
UAR (2.4.8) 0 


mim 7) Nu 
V Dan P41) 一 v 2.) = 3 G,9/ 1 1s (2) elt) 


-7S ah lodola) +S edt (a) lE) 
i=nk iícnc 
vom) e S am arto) — (4.0) 
JR 2.4.8 x OA Rv (ORERE 上 式 右 端 第 二 


HAT), MARA A2.4.3 50 = HL BU qu A 23 £90 时 为 、 


oT), 

Fash (2.4.5) & [as de A 

lai<(et+al), Vi, nes emo, T, PUB IR EEG 4.2) R 
(2.4.7), Wa (2.4.9) SAE a> 0 及 充分 小 的 T0, LE I 3E 


5 


ue 
ra 


4 Lyipuiney ge nT 


AK UAR 


T hes. mai) 一 站 EN us m all’, (2 wt . TÜ. 
]im elp t etu PEL! i 007. (2 4.) Li 
M-ra 
;—Jj Wl. M 3.1.5 Wl 
in |a) — Oe -——_» () P4012 
H, -1 te eRe ' M n) ( ax) T— " 


Hr or, 535. Vm) be, b,< olay) «Og, Vi m E tg, 

Bt EL sR. 2.4.12 郑 对 充分 小 的 工 有 
ming, T) -1«m,. 

TL REL U (Gem, moi) € 101, Se), 

Ash (2.4.11) FG. 这 就 证 明了 i). 

ii) Slo AA, WARTS e x, MWh 2.4.6) 
A2.4.311)m Hg. Re. 41ID 7c ag t ROS 6, Hr ENSE 
了 矛盾 的 不 等 式 ， 这 就 证 明了 引 理 ， L3 

MAST ER 2.4.1 RK 08 XJ KH, REER 
述 成 现在 这 个 形式 , 是 为 了 使 它 对 下 一 前 也 适用 . 

E241 Bet h—w KH A2.4.0—A2.4.2 4, FF 
对 到 定 的 初 值 mo AIRE (2.1.9) EA 2. — $08 70. 95 IR 


e, dm, J) NA D, 

证 明 Ril dimd(e(m), 9(7))-0 as. (2.4.13) 
id 

qA lim inf v(z,) «lim sup e(2,) Ate, 2,4,14) 

1) 设 u= ve, RES 2.4.1 之 ii), BA d(mn, 0/1) =O, 
所 只 lim dCvla,), v(7)) —0, 

2j HE rite, 并 设 至 少 有 一 个 名 ,=1, 2 不 属于 I) RK 
He. wea), 这 里 (四 表示 HMA, 那么 必 和 三 在 
ez, [ii (91-- 8, Wi 4-28] ats) =, H «2850s, Mors Ta BY 
ut (2.4.14, A, ?ws) 无 穷 次 穿越 区 间 (vite, 7261. 根据 引 


38 RATA Bese 52i 
$02.4.1 71) RAAB, MME v. Res Mj oF), d dé sx 
(2.4.13) 成立， 

SAE eT] A AR ef 2.4.2 2 b), XXE d(a,, J 290, 

1) 设 v(z)-—es Wats, NEZ 8 SR .4.19) 5] v3.9 02, 
Bc fefe FF mx, dis, J,70, Wdis, J)-870, 那么 式 
(2.4.17) 3«(2.4. 100 RRR HUP 24 noo 时 mp es, 所 
Bi) £—-o 时 ， 式 名 .4.10) 左 端 趋 于 0， 从 而 得 出 矛盾 的 不 等 式 ， 
因此 d(z,. J)—0, 

2) RIES 2, AR d, J)>OMA dlle), «(7))770, X. 
a H tn GE AFF, xz 从 式 (2.4.18) n dla), 
v(J))—0,BrEL d(z, J)=0, HF e, 的 任意 性 , Eadan J) 
一 一 > 0. 加 


从 这 一 童 的 训 理 及 定理 知 ， 在 证 明 算 法 收 伍 性 时 ， 我 们 充分 
利用 了 Lyapunov anti, WAS HR RR EME 
数 所 满足 的 微分 方程 . 

下 面 的 定理 将 适当 加 强 对 ACOBI SCR, 但 去 掉 Lyapunov H 
数 的 存在 性 条 件 A 2.4.2, | 

jp 38 2.4.2. RHO RR HZA a EN, 
sup f(a) « f(a), aC J, J HARR) =const, Voc J), id 


h(s) = fels), h(m)—0, VaCJ. iG LOL AL LIBRA 
2.4.3, EDU REM w, HERR (QUII. XE o AH, BRA 
d (Bn, J) 9. 

证 明 只 要 证 明 存 在 满足 点 3.4.2 的 9(9， 那 么 利用 定理 
2.4.1 X4 8 Br EE 6] ide, 3E 3 RC (0 = — POCO, SEA Ar) Go) 
— — JACO», 由 于 fo AS ERB EIE A242 Re CD) 

E243 ”在 定理 2.4.1 及 2.,4.9 中 把 A 2.4.1 加 强 为 

A2.4.1' an FEFE, 4,270, a0, Dao, Jt ELE Be 


jt, t 


Jag Lyapunoy pru au 
ap al «xp, Wael. (2.4.15) 
把 A 2.4.2 改 为 


A2,4.8', s, -e,-- p, d, 216420, v,—0, 而 保持 其 它 条 性 不 


AR, 那么 这 两 个 定理 的 结论 照样 成 立 . 
证 明 A Tv > 0., 所 以 如 果 我 们 能 够 证 明 


LORE -2 0, Ven. Me MR m (My, T), (2.4.10) 


那么 A 2.4.8 成 立 , 也 就 保证 了 起 青 成 并 
当 À 2,4. 3 成 立时 ， HIR 2.4. 15) Ry X 7 Ng MEM CTI, 


T 有 
|S 之 Bii 


kiza l 


m k 一 ~ m—1 | 
=" | ^" 2,6017 fn et 之 (@;— a1) 22 ME | 


tty] 


MS ass Seal TM San 


k 
i ses 
-rc 


(2.4.17) 
LJ 


随机 变 界 截 尾 算 法 


在 第 2 章 中 , 我 们 已 经 讨论 Robbins-Monro 算法 ， 给 出 各 种 
分 析 上 收敛 性 的 方法 ， MAHER, 对 回归 函数 和 量 测 噪 声 要 求 都 
比较 严 ， 用 QDE 方法 时 , Xp E LR PRSE ERAGEOML (Ree 
KREGER, HEERA E tiir B NAAR. H 
Lyapunov 函数 方法 时 , 5 ODE 方法 相 比 ， 对 回归 函数 的 要 求 有 
进一步 放松 ， 在 这 一 章 中 ， 我 们 对 RM 算法 的 有 限 步 作 一 些 修 正 
后 ， 不 再 要 求 算法 的 有 界 性 ， 对 回归 函数 和 量 测 噪声 的 要 求 都 较 
弱 , 用 Lyapunov 沙 数 法 来 证 算法 的 收敛 性 , 并 给 出 丈 敛 速度 和 稳 
TESS BF. 


§3.1 随机 变 界 截 尾 算法 的 收敛 性 分 析 


在 第 2 章 的 RM 算法 中 ， 我 们 看 到 ODE 方法 可 以 减弱 对 X 
测 误差 的 限制 ， 用 Lyapunov 隙 数 方法 进一步 可 减弱 对 回归 装 数 
的 要 求 , 但 要 预先 假设 {2。} 一 致 有 界 ， 在 $2.2 p. PROTA A 
WE BE (2, — SIUE E, 但 对 量 测 误差 的 要 求 很 强 , M H EA A 05 771 
满足 如 式 (2.1.12) 之 类 的 线性 增长 条 件 。 HEAR BOUE 0.) — SUR 
界 的 假设 以 及 对 回归 函数 线性 增长 的 要 求 . 

容易 发 现 , 在 原 有 的 算法 (2.1.2 的 框架 下 ， 这 些 条 件 很 玲 去 
掉 ， 先 看 一 个 简单 的 例子 ， 


， a og o1. E 
例 31I E A(2)——7, £,—0, & 7 — 1: v(2)-2^ 1 


Eu. Jt, AT À2.8, z'-—0, Z HL o= 10, 由 算法 Tapi = Bat 


33.1 Pa aL SE Pris LR HE ar np op Vr 41 
es By ELE 
2,— — 090, $2, —485148010, m= —3.9 x10% 

MAU ESB, 已 经 可 以 看 出 s. BR Ra, 说 明 即 使 
对 无 量 测 误差 的 特殊 情况 , 只 要 回归 函数 不 具有 钱 性 增长 的 性 质 ， 
BH (2.1.7) BAT 8É RE A ERE AE. 

Bit, XE E BP. MRR .zo <1, 容易 验证 ,z CHEESE P= 
0， 这 说 明 , HE HAA HEZETESE TREE. TIE RR Ze 2° Bee, 
回归 应 数 的 值 将 很 大 , TE AP Lans A ge Oa EA EE. 不 
ALLA i Eiko, Aho, RAMA, 如 果 能 设法 使 回 
归 函 数 的 增长 速度 降下 来 , 有 可 能 倪 算法 次 范围 收 合 ， 

53 Fi E, 在 实际 问题 中 , 38 Ab SE EST ENE ei c e c RUE 
的 非 线 性 ， 而 标准 的 RM S BS x 3X XR REUS K d ES E Sx 
性 ， 于 是 , AMA er E PE EO EO 如 

Tuoi = Agl Bat OnYaral, (3.1.1) 
其 中 S FA SOE, m EA S 的 投影 算 子 ， 或 者 
a [RT tes, TIR Da Hiya ES, 
UU da, MED + Ging S, 
其 中 oet og S qd BSE n. 

这 种 投影 或 截 尾 算法 实质 上 是 用 构造 的 办 法 来 实现 算法 的 有 
Be di m mios? 的 所 在 范围 5 的 先 验 信息 , 当然 不 是 具有 全 局 
收 襄 性 的 算法 

我 们 设想 , MRK (3.1.25) f f] S ZR JE — MAEM, 而 是 每 发 
生 一 次 截 尾 就 让 它 变 大 ， 这 样 若 把 每 一 次 递 扒 时 所 用 的 5S 写成 序 
34 (8,3, S.C S,, Vj à, LEA FETU MK, Ea MATAR. 
那么 , 任 取 So. BD ii a? RAZ SoA, A EX UN ER RAE 
Sx A 因而 也 在 S. P n>N 但 是 ,即便 a? € Sy, JE REPRE m. + 
Yat 不 再 跑 到 S, oh, nN, CRI IB On A E EO 6 IX EE A f 
然 不 收 伍 ， 因 此 , CERT aR” A A AREE A, 就 在 于 能 否 证 
WES, 套 住 2? 以 后 ， 截 尾 至 多 只 进行 有 了 恨 多 次 ， 由 于 截 屁 合 


(8.1.2) 


a a LAS FAR Ew H: Ro. 


,将 多 次 回 到 茶 一 图 定 的 有 界 集 内 ， 而 步 长 因子 a, AET ii 3E 
小 ， 这 相当 于 使 ($2) 的 增长 速度 受到 压制 ， 在 等 待 o BARB 
小 ， 喜 至 可 以 压制 住 on WAS EGRE 六 (zw) 在 算法 中 的 作用 . 


在 例 3.1.1 b, Rt zo 一 10, 但 经 过 多 次 蕉 尾 后 , 由 于 二 已 变 得 
(As os 不 断 回 到 有 界 集 , 使 a LIN 相当 于 取 |zo| <1 的 


情况 . 
现在 我 们 用 数学 语言 来 精确 描述 随机 变 界 裁 必 后 的 RM 算 
法 . 
设 {2M,} 是 一 个 单调 趋 于 无 穷 的 正 实数 序列 ，2? 为 R 中 某 一 
点 ， 递 推 地 定义 一 个 正 整数 值 随机 序列 {aw} 和 算法 {ze} 如 下 ， 


n-i 
A. 
wan 一 24 nran >a ocd Fo=0, (3.1.3) 


M441 (t+ Online 1) Lien +Ontngl<Mag) PEL tant tnyna ES Maal? 
(3.1.4) 

AAS 1.2) AL, 这 里 的 S 简单 地 取 作 以 原点 为 中 心 的 球 . 在 
以 后 算法 收 伍 性 的 证 明 中 可 以 看 到 ， 若 回 到 式 (2.1.2) 那 种 更 一 
般 药 框架 并 不 影响 证 明 ， 只 是 现在 的 简化 可 以 使 以 后 的 叙述 更 简 
3]. 此 外 ,也 可 以 类 似 设 计 一 种 “ 变 投 影 的 算法 , 只 是 每 次 投影 后 
mr 不 是 回 到 一 男 定 点 而 是 回 到 一 逐渐 变 大 的 总 的 边界 上 ， 因 而 为 
控制 住 b 的 增长 速度 ,应 让 总 变 大 的 速度 大 大 低 于 {qayy BF 0 
的 速度 才能 保证 算法 的 妆 敛 性 ， 

下 面 ， 给 出 使 本 节 一 开始 所 提 到 的 希望 得 以 实 现 的 算法 全 局 
It Si AE se RE, 

TH 3.1.1979 RHE- oma ei A2.4.0~A2.4.8, 还 
设 存 在 常数 mo BE ola") < inf vC), FURY al <co, 并 且 


GTN (Qr), inf o(0))#B, (8.1.5) 


则 对 任意 初 值 mo， $51 (3.1.20. (3.1.4) BERE X av Capo E 
A lim dían, J) =0, 


sa. PERLI Fri Fe VETE BO e ae SP UT 4.4 


注 8.1.1 和 定理 3.4.1 相 比 ,除了 算法 不 同 外 ， 这 里 少 了 一 
个 {ws} 一 致 有 界 的 条 件 . 

$3.1.2 %A2.4.9 27 bith (42 -const B], 35 (3.1.50 E 
RRI Mp CIO BRE E IX IBIBI: 3 (9.1.5) 48 ERR. 

我 们 先 证 引 理 , 都 是 针对 固定 样本 eo BY 

引 理 3.1.1 i A2.4.1 8 A2.4.9 IR. 1,1 是 一 个 由 算 
法 (3.1.3)、(3.1.4) 定 义 的 {42,} 的 收 合子 序列 ， 则 存在 常数 M 
0, 470 £20, MBEN(ER E Er, TELO, DH m: nsi ms 
mn, TUR 


| Sages 
Hp nin, T)gr 2.4.3) X 
证 明 若 算法 人 .1.8) (3.1.4) PRAEBSREARK, 即 存 
在 N,füe.—os, VnzN, WIDE ECHJ BRR USN 就 
A 


<M, (3.1.6) 


m+1 I 
| * Gia! = lema En 2M,,, (3.1.7) 


1 [-Hüx 1 


这 时 可 取 M —24,,. 
现 设 0, ———> 00, z= lim s. BLUE SRR, 取 实 数 c> 


al, fuk ko 只 要 MP RA 
|a, 1« Cot 1|) /2 (8.1.8) 
取 了 ,>0, T,— 0, DUR, NEM s, BEL Am, 
na, S mm nay, Fy) 9648. 
[SS eas [> (e- tz /2 (8.1.9) 
不 失 一 般 性 , 可 认为 Em heim ko Vol, 并 设 
m, infin. = agus (o—fzh/2}, (3.1.10) 
那么 对 m, m «moms, Br (31:8) (3.1.10) 4g 
| ng, 十 S ena]. (3.1.11) 


44 Fai) RR UE BF 
Iho, ———> 00 知 ， 存 在 So, 24 sso Hd, M. e. MR 
(3.1.11)4] 
m+ Gi aM, Vmn,«msm, (3.1.12) 
ATG st (3.1.40 8E 


Di 1 = Em i Oif ii, VT T, SMS Me, (3.1.13) 
Ht (8.1.8). (8.1.10 :0(3.1.19)/4g1 
las ee, JA im eo, Ven mu mem m l, (3.1.14) 
WHEE T0, 只 要 5 ŻDA WA TQ Rm<mim,, T). 从 
3x (2.4.4) 45 ER To, 


Himsup| $ ail <0). 
BT Tuum BU 


me m.1 
limeup| bà 6844.1 >} Gi iui 
gem -= 


中 一 个 下 


— 0, lim — 0, lim Gm, +1fn = 0. 
€ i (3.1.15) 
Fast (8.1.14) EE (3 1.15) (B I 

ones Fn] SY OAC) S ol 


(3.1.16) 


和 
[mati Lhe, + dmt Yml < ETRS — Buy, | + |n, «13m 2] —>9, 
(3.1.17) 


1m ei meal mei mea) | + lamtlr 0. 
mal _ 
[Dm1 £n," Gmel moz m 1 Bi efe > Ce— 121272, 


RSAC LINFA, An ARE. [] 
引 理 3.1,% ASSL Lae, 成 立 估计 


$3.1 Eh t SE A ee BAe yb) 45 
lamer 24, | «e; T, Ym namam T), Vee ke, 
(3.1.18) 
证 明 KAER lim oco 的 情况 ， 显 然 , 这 时 存在 常数 be 
和 com> O, IRM Ve ko, NE Ay, 
M: M4-1+-[z|, yl | 2h, (3.1.18) 
这 里 的 M qz 51928 3.1.1 中 定义 . 
于 是 由 引 理 3.1.1 和 式 (3.1.19), 存在 keke, dO, 使 得 对 
(ELEC O, DA m; n; mmn, 7), AB kek, A 


bot S eyui| KM HLH rE Mon (8.1.20) 
f=, 


IS ifti 
Bing Um OmYm+1) (3.1.21) 
[mei RM +14 ml, [ans | «es, Vm; mE mem ne T). 
(3.1.22) 
FE PK (3.1.22) 8] $8. 
| Sak ^a) («t Saxo. (3.1.29) 


| > etsy 


WHE e= 65-04, WHR (3.1.28) 38 (3.1.94) HE X, (3.1.19), 
M lim o= M<, WE LHR RES] 理 3.1. 革 都 可 进行 . 


引 理 得 证 . 口 
定 埋 3.1.1 的 证 明 , 
AEBS .1.5), MRE AE (e(a"), inf v(a)), fi 
d(8,, «(J)) i> 0, Br EA fed 65 81, B d([8., 85], v(70)70, 
Hi o, e=, JA, m, Mo 出 发 将 无 穷 次 穿越 球面 


i EA = col , 


xou, (3.1.24) 


46 aL Se re rz 552 3E 


ESR Lan | es, Br EE E T Filia} Blom}, Tama, O1 
v(z,) «8, lal «eo, VÀ; ny «6 mu, O On) 也 就 
JE Wi v(2,) FG BF UK SF RKA [91,62] , FFA Noa. MA 3.1.2 
BGRG.1.12)89 3] 28 2.4.1 RIZR FE JLSE. 根据 该 引 理 知 ， 这 不 可 
能 发生 ,所 以 ooo, BI FEET OY no， 当 n>n 时 , o.c. 
因此 {zx,} 有 界 ， 并 且 当 nS no, BE 3.1.4) 和 RM 算法 完全 
Be. PROM uEBHH SERERE 2.4.1 MA, (8 UE RES 
论 正确 . 口 

定理 3.I1.2 BOE Ro RYOLKEAT MG JO 
FO) 的 极 慎 点 集 ，f(2) const, CJ, ia haf, KE 
A2.4.1 B A2.4.3 成 立 , 并 且 存 在 常数 cu HH f > sup f(a), 


那么 对 性 意 初 值 20, FEC .1.3)_ (3.1.45 Be 8g o, a. e. 收敛 
zi 7, Bi 


da, J)—> 0 a.g. 


证 明 Rv }—=—f (+), WAR A2. 4.2 map, HARE 
(3 .1L.5) 显 然 成 立 ， 所 以 定理 由 定理 3.1.1 即 得 = 

定理 3.1.3 mee 33.1.1 & 3.1.2 bee fF A2.4.1 
ER A2.4.8 fh V, A2.4.1' E A2.4.8', 面 把 其 余 条 件 保 持 不 变 ， 那 
么 定 是 结论 仍 成 立 . 

证 明 AEH 2.4.9 的 证 明 相同 . E] 

EW 3.1.2 JR [ep ARRHRE, PERERA [e E PR RS 
梯度 , 尽管 可 能 带 有 误差 ， 在 有 些 实际 问题 中 , CREM 
的 梯度 ， 而 只 能 带 误 差 地 量 测 回 归 画 数 本 身 ， 下 面 就 是 讨论 这 种 
情形 . 

BAAR AC) ROR Bie dur PESCE ER. hum) — 0, 
Voc. 

id d. [Dn «+, DA], 

On = (on, t5, Oh, Mtb, m$. oe, ah], 


tn = (Ga, tta a, tn — by, es, Ta Bal”, Ikisi, (3.1.25) 


$3.1 REELE PLE Le ELTE TR ZI An n 41 


Vh (zs) = [a (at^) —Ahm), "tty ham") —h(a )] E 


(3.1.26 
AX m 45.) Ag by BPP, 满足 
b> 0, ba —> 0, (3.1.91: 


现在 , 我 们 观测 
Ui Valo) -ES 0 yo— O0. (3.1.28) 
显然 yw iS E.g NT ERE 
[A (21 0, -, Alan )]". Than), n Aler 2] (3.1.29) 
的 现 测 信 相 减 后 乘 以 y 得 到 的 ,这 相当 于 在 昌 测 回归 函数 的 关 
H. 因此 ， 这 里 不 仅 有 哺 机 量 测 误 益 ， 还 有 差 商 与 导数 之 间 的 误 
zi. 

TLE OR EL HA de 26 (3.1.28) (3.1.80 fI (3.1.40, OI 
ERRE Kiefer-Wolfowitz( KW) Bik. EU 9L E E RM BE 
JB EG, FLETES (9.1.35, (8.1.4) HB) uui RE LK (3.1.28), 

引进 如 下 的 假设 组 A 3.1. 

A31.0 在 任何 有 界 集 上 ,aaf 满足 Lipschitz 条 人 性. 

A3.1.3 和 上 2.3.1 相 同 . 

A3.1.2 4 A2.4.2 相同 ,只 是 把 那里 的 大-) 换 成 加 (。)， 

A3.1.8 MA2.3.3 38 8). 

FRASFRR ECW SIEBAKABUESTERSHWIT. 

3:18 8.1.47? 在 假设 和 3 工 下 X [EXE dU 4H m, BE 
(3.1.28). (8.1.8) 801 (8.1.4) Z8 Hf] o, BF JL BD 


dm, J)—2 0 a.S. 


证 明 重 写 式 (3.1.28) 为 
Ynyr Aa Dn) -+ [VA (m) — hala] -F 4177 V4.1; (3.1.80) 
由 条 件 AS.1.0 以 及 中 值 定理 , b, —> 0, 易 见 


| VÀ Gn.) — halan) n 0 (3.1.31) 


48 Ra ELSE a eRe War, 
因而 若 把 Vio.) —he (on) IBA vou. 3R (9.1.80) BAY gyri 也 可 
AVE A.() HRW, HRM REG E AG.1.8, HEH 
(3.1.28), (3.1.3) (3.1.4) 岂可 看 成 是 量 测 C) HEAR 
RM 算法 .定理 3.1.1 的 条 性 均 得 到 满足 , 故 定 理 成 立 . O 

从 以 上 证 明 过 程 中 可 以 看 出 , 只 要 假设 入 3.1.0 成 立 , 并 采用 
Bi (3.1.25) 一 地 .1.28) ,就 相当 于 对 回归 函数 的 境 度 A BRE 
au. 问题 化 为 RM 算法 ， 因 此 , 在 以 下 各 节 中 ,我们 不 再 讨论 KW 
算法 , 只 要 研究 RM HERET. 


$3.2 We Sx XE HE 


这 一 节 中 我 们 给 出 算法 (3.1.3)、 BLOB o. BC CE 
E, 
UFR ACOUBINE— ER BE J —a. SR CE BE, 为 
Jt 8| Ask A 3.2, 
A3.2.0 R'OR HEARS A) ETE —Á BR IRR EUR RIS FH 
34 ao" 时 ， 
hæ) = H (a —a?) -8(2), 5(@°) 20, Sæ) =o(||2—2° |), 
(8.2.1) 
H 为 稳定 阵 , 并 且 
H -+I 也 稳定 “本 征 值 实 部 为 负 ) (3.2.2) 
o 和 的 定义 见 下 面 式 (3.2, 各 及 式 (3.2.6)， 
A3.2.1 REE KAT iC HEU PRE 


Gn > 0, dn ——* Q, 5 Sn = 00, (8.2.8) 
n akra n=1 
tl > a0, (3.2.4) 


S41 A> 
A3.2.2 EN REX [5 RAW nent 0, X] 3€ 9; 0-28 
1, v,.1—0(a1) a.5.,3F H. 


Talen 2.8. IBN. (3.2.5) 


"nml 


83.2 收效 速度 Ag 
A3.2.8. FEKET fh AE v0, ROR, EXER 
dz dQ, 
eup — A*(a)v, fe) «0, (3.2.6) 


dix'r—zu)xd, 


还 设 存 在 常数 co i v(2*) < inf via), lat] <a, m' $E X. dE X 
(3.1.4) 76, 

$3.21 D X ant, o>0, MARE WE A 3.2.1, 这 时 
a—— JBMStO 2. 0% H+ Te. F ai 


nits ? 
a0, 6>0, 则 可 验证 它 满足 式 (3.2.1), 这 时 a=0, 36 (3.2.2) 48 


HT HE. Ries ARK EROS LE E B 
E (Gy) F ga —0, EC enl 7,21) M, (3.2.7) 


当 3>0 充 分 小 时 , 8 一 引子 +8 )>0, 那么 Sah? «coo, 所 以 利 


用 靳 收 敏 定理 (定理 1.2.2) 立 即 可 知 式 (3.2.5) Jr. 同样 ， 当 
fe,} 为 有 限 项 鞭 差 列 所 构成 的 滑动 平均 (MA) 列 ， 式 (3.2.5) 也 成 
X. 
TA FOE RACE IE, Eae DAC WE a m 
3083.21 设 1x7 维 方 阵 及 ,一 > H, 五 为 稳定 阵 ， 数 列 


fin} SK (3.2.8), T HERB (OL), fon A 


* Gi En 2 WL EIC Pn e 0, (3.2.8) 
网 如 下 定义 的 矢量 列 {w, 了 
Epa 1 = Lat nd + Bal Enpi t Patt) (8.2.9) 
N HEX ERST 0. | 


证 明 dd 

OQ, (Ima Ho Tro, Bini 人 al, | (3.2.10) 
我 们 来 证 存在 常数 com> 0, 070, 使 

[Pa lS co expl- eS ay), Yaj, Vj>0, (3.2.11) 


50 EE ELAE H7 AR IE NUS . 第 3 证 
因为 H 稳定 , 存在 正定 阵 P, 使 
PH--H*P--—5[ 
由 于 H, NN H, Br EA TE TE no, 当 JPN 时 
| PH,+HIPp<—I (3.2.12) 
那么 ， 
D, PO. (DI. (P—aI-—-aH'PHD, ,, 
=p, P? (I—a,P--+a! P? H* PHP) PIO, 
(3.2.18) 
由 于 a.—0, 所 以 存在 c0, WW AAA n( 不 妨 认 为 n 已 充 
AA. WE Ne), 
|I—a Pic ap IH "PHP? fel — Bea, <e776™, 
(8.2.14) 
那么 从 式 (3.2.18). (3.2.14) 400] Ves, Vino, 
n .1l n 
BP soxp| -2e Ea], (Ba || As CP)exp| -e $a], 
(3.2.15) 
XX HA DERN P 的 最 小 术 征 值 . 
注意 到 对 Yj 二 no， 
na—1 NH 一 二 
[< +a Hx) « li (1+a,| HT), 
所 以 由 式 (8.2.15) 知 
LAM EUN CELO 
. 1l " "o— 
end $: a| T Ga 
tn ) ( $ 
kat OPexp[o Sax TT tal Dexo[ 76 $ a], 


XPRERBR AA T 3 (3.2.15), 所 以 式 (3.2.11) 成 立 . 
Bhat (3.2.9) a 


Pati Pn gto TE D, 1 i0 eat 443), (3.2.16) 


$4.2 We wm oxB HE 51 


KM REE Awe FO, 首先 由 式 (3.2.3) 及 式 (3.2,11) At EN 
ám Sx BET O, WAI HH. 
Ux a= Ny, ah <8, 


E ",—1 n 
' 1 ‘I - 1 I ] 
JDP pier ‘Co DY [oxp( —e a.) Jal; 
1-29 | J=a Rael 


十 cn Soxpa| —e > a], (3.2.17) 
1-0. 让 二 了 十 二 


上 式 右 端 第 一 项 , H noo H ERAT 0, 而 当 no 充分 大 时 ， 对 第 
二 项 可 估计 如 下 ; 


n ^ n cat i 
gco Sexpa,| — > a; | <2e00 $ oxp( i 一 E) -e 2 a. | 
了 三 中 上 k-:Bl IEETI a E L 


Er 
< Eco S exp(i—e7*)| 一。 3 ay | «3tos, (3.2.18) 
=ni =J +1 
IUA (3.2.17) 08038 353824 noo, 0 HATO, MEX fi 
IPLA 


id Sy = D 6-1 $-1—0, R WX (3.2.18), & — soo 
=o 


a.8.. BREA go> ny ny d isse 
> Patena Ss Pnl — 851) 
j-n =) 
= Sn =E Paes Pn) 84-4 
= s$ Bua 0s 
— 3 (9,70, Gic 78) 
i= 
= §,—s+@, ,08 一 20, iu nit) (8j-1— 8) 
Te DD Co d] H | exp| 一 PX 
i xm (3.2.18), EALAR mms] [s, 所 以 


"n 
+ 
2a Perse sie ses NEA Ü a .B.. 


5? 随机 变 界 截 寿 算法 mas 
这 样 就 证 明了 2.2 0 a.B., CJ 


定理 8.3.1 it [E A3.2.0—4 3.2.93 成 立 , WARE 
u: (3.1.8), (3.1.4) f& t lon} UTE i ee E 
]m,—a?|-—o(am;) as, (3.2.19) 


证 明 PERHE, Ho? =O, h FER S11 的 条 件 成 立 , 所 
LA lim z,—0 a. 8.. JF AAPG Ji FIERA RE, 成 了 通常 的 


RM 算法 . 
Hs (3.2.4) 1, 00. 0, &UR Taylor RARA 
A 
+ 0(( S atay), (3.2.20) 
5j 5p, Sa) 可 写 为 
a) = (80-27, Js, (3.2.21) 
或 者 
3(a,) = Dao， D, (8n) n), (3.2.22) 
HR (3.2.1), D, — 0, 
TA SR (3.2.1) (3.2.20), EAA n 81 48 


Pie (du/da)? | a Cras Hla + Dems) + tana 
n+l 


=(1+8 Oy — On i MES dry ) 
(Bai Ons 


一 由 
十 al endl ) 


x (2540, 4 
一 -一 +a,(H+8 FETA 
a COS L1 Gs 


+a, (£52 + Bet +0 (Stas) Eni Y (3.2.23) 
ae Gà, Gs 


Qs 1 


s Ux £c oxx HE 52 


- (5 Gy — ntl +0 ( Gy 一 
Gua 1 By, 


+0 (222a) L psg 


Gi. 1 


TU AZAR (2.2.4 $1 (3.2.5) A, 


Pood 0, of d Moot) Set _, 9, (3 .2,24) 


Me dorem rat a nooo 
id 
H,AH+58 T+ y AT 
fin hy y a 
' Pa 7 E, 
pyi 2m ; TELA 7 TO (2 x m 
ein Ent 1 


则 可 重 写 式 (3.2.23) 为 
Yasi7 Ya Gu H us Brg veya). 
注意 到 H Hal, HX (3.2.2), Hal 稳定 ， 注 意 到 


条 件 A 3.2.2, 便 知 引 理 3.2.1 的 条 件 成 立 , 所 以 如 一 > 0。 O 


T FEBRE SUBE EH 3.9.1 XE- TER REM RM 算法 或 
RM FAR RE APRA Fie HR. APRA. K 


oe. Sas, RMAs} M (3-2.7) 所 描述 的 


n” 
lent. XXBI. ON fe = Gy en &. B. KA, 只 要 要 求 


b] 


ÈR (arar le lF) (8.2.28) 
WH 2(a—ad)>1, W B«- S 


TR. d $ «axi, 可 得 当 a= 工 时 ， 算 法 有 最 好 的 收敛 速度 
o( 二 小 và «i. 当 E «ac LG FE BR SCRE A (ls). 由 
aöl- Joa 1, AMM a BT Ls EBD COCHE RUN, 


54 aH, Se Tf | IE RIS £83 


直至 当 a-l ERRER (3.2.25) mn. MALET LU HB, 
a 在 二 <a<1 ERARA GET RM 算法 的 强 收敛 速度 ， 也 
就 是 说 , 步 长 因子 fu} Va SEI BERORURE De EON TE HIST ER SGI 


$3.8. 一些 数值 模拟 例子 


本 节 所 给 出 的 数值 模拟 例子 中 ，{%w,} 是 计算 机 模 所 的 独立 同 
分 布 随机 变量 序列 , XE OLI o N (O0, o0, HREF (5,3 S 
型 为 形 如 
En + A 184-1 = Oa +O 10-1 (3.3.1) 
Hy ARMA 序列 ， 
例 8.8.1 一 维 单 零点 的 线性 回归 消 数 , 


Wt A (2) — --8(@—1),0,=—2, A= 0.2,0=0.1,a,= = 


T+ Th 
GR v(2) = (2—1)* n] (E23 Lyapunov MR. WA) 是 线性 
X, 采用 通常 RM 算法 , 取 a= 10, 

计算 结果 ,. 2g = 1.06, 24 = 1.02, 25,451.01, 9,=14+0.0LG> 
600), spam = 0. 99908. 

53.3.2 一 维 单 零 点 非 线性 回归 函数 . 


hm) = 一 (o — 10)? C,=0.5, A= — 0.9, g=0.1, GR. = 


1 
l4! 
ata) = (a —10)? nj EX; Lyapunov MA, MUTARE E RM S 
法 应 该 收效 ， 取 和 截 尾 界 序列 于 ,一 2"m, RER Lo" = 0.5, 

HER. ty =0.5, agp =48.4, t= —23.9, eg = 21.9, 
gi= 7.76, geo 8.74, 2778.97, two 9.26, D: = 9.46, 
tao 9.52, Zan = 9.61, 

53.3.3 三 维 多 零 点 线性 回归 函数 . 


-1 1 2 
h(x) | 6 —12 E 22 Aa, 其 中 A FERES RATE 
1 -1 -2] 
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2 00 — 0.5 Q 0 
ZAE TEMA. Caj 2 Of, Aif 0 —0.5 0 小 
0 0 2 0 0 —0.5 


g—0.1, m= Du THM RM 算法 求 零点 ， zo = (DO, 100, 
— 300)", . 
thE GR: 


$795 — 168.0 ~—167 .6 
[me Zr | enm] 
— 4046 — 82,6 -- 83.0 
— 167,4 — 187.3 — 167.8 
nm m m ; 
— 83.1 — 83.2 — 83.8 


- 167.8 ~ 168 2a 
— 83.4 — 84 a 
x“ 为 任意 实数 . 
例 3.3.4 一 维 单 极 值 非 线性 同 归 函 数 


A(@) = (@+10)4, C,=2, A,— —0.5, c —0.01, a= 
AAA AR KW 算法 求 极 值 , Bl ELE SE FP P 


1 
lpn’ 


M,=2n, z' =0.5, vio) = (z--10)*. 


bn = ——— 


len’ 
计算 结果 .so 二 0.5, g= —1040.1, ¢220, 

丰 以 上 数值 模拟 合子 可 以 看 出 ， 本 章 前 面 所 得 到 的 悍 论 结果 
都 得 到 验证 .但 当 算 法 序列 越 靠 近 真 值 , PEARS, 当 回 归 
函数 的 非 线 性 越 强 , SE M: BG SS, 这 正 是 随机 逼近 算法 的 一 
个 局 限 性 ， 为 此 ,如何 改进 算法 的 收 合 速 度 , 使 更 适应 实际 需要 ， 
是 一 个 很 有 意义 的 问题 . 本 书 将 要 讨论 的 渐 近 有 效 性 和 和 并行 处 理 
都 和 这 一 问题 有 关 . 
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$3.4 算法 收 敏 性 对 量 测 误差 的 一 个 充分 必要 条 件 


在 本 章 的 前 面部 分 , 我 们 已 经 对 随机 通 近 算法 强 收 伍 的 条 和 件 ， 
无 论 是 回归 函数 ， 还 是 量 测 误差 ， 都 得 到 了 相当 篇 明 的 结果 .但 
是 ,这 些 都 还 只 是 充分 条 件 ， 如 时 我 们 能 获得 收敛 的 充分 必要 条 
件 , 不 公理 论 上 有 意义 , 在 实际 应 用 中 , 还 可 以 据 此 扩大 运用 范围， 
为 使 算法 收 仇 ， 至 今 还 没有 一 般 的 必要 条 人 忻 . AI EMRA 
已 有 一 些 结 果 ，1984 年 , 在 文献 [37] 中 给 出 了 RM 算法 关于 量 测 


误差 的 强 收 全 性 充分 必要 条 件 ， 他 的 结果 是 ; 如 果 e - L, £ 


归 函 教 满足 与 2.2.2 和 入 2.3.4 相 似 的 条 件 下 ，RM 算法 大 范 
围 强 收 敛 的 充分 必要 条 件 是 量 测 误差 应 在 算术 平均 意义 下 趋 于 
O, 也 即 


= Senı > 0, a.8.. (8.4.1) 
TL £m ie UO 


由 于 这 个 结论 中 对 贺 归 函数 的 要 求 过 强 , 在 文献 [18] 中 , 运用 
恋 界 截 尾 方法 , 将 回归 函数 的 跟 制 显著 地 放宽 ， 例 如 , 完全 去 掉 了 
夯 归 函数 的 线性 增长 条 件 ， 在 文献 [12] 中 又 将 步 长 因子 18,+ 取 或 
较 一 般 的 形式 . 

FTH, SAREE A 3.4. 

A3.4.0 EPHE% ROE ROR HERR, FARMS 
m a, 

A3.4.1 HEAT {aa ME a>), a, — Ü, > oh = OO, 


并 存在 N A b0, 当 m 产生 1 时， 
85415 0, S Gai (12-8, ) ， (3.4.2) 
A3.4.2 存在 一 定义 在 FE 上 的 二 次 连续 可 微 实 全 函数 
v(*) 及 实数 M> 0, 使 
a' € {a, |o] <M}, d & inf(v(a); lol - M), v(a*) «d, 
(3.4.3) 
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vla) Eula), Voto, oink (a}<0, Yaa, (3.4.4) 
KP m^ ARLO RAH, 


å 3.4.9 量 测 BA 
Vari An) F Enti (3 4.5) 
A Wik EF 18, } E 
mY tis —> 0, A.B.. (3.4.6) 


在 讨论 必要 条 性 时 , 对 {6,} 还 要 用 到 下 面 的 条 件 ; 

À 3.4.4 lim 1 Sup RB, «co, 并 对 完 分 大 的 
ES ars rom El ene 

#341 容易 验证 , 下面 一 些 {6,1 的 例子 满足 A 2.4.1, 

i) a,—G/n, XX bj n] Nl al), ber, 

ii) a, a/ s/n, 这 时 可 取 o1 / (202a). 

iii) a,—@/log n, 这 时 可 取 Ni 2/ (be), 


同样 可 验证 ww 一 二 或 mm 一 满足 态 3.4.4， 同时 满足 


n log n 
A348 A344 LE {oh 
引 理 8.4.1 ZEY A 3.4.15 A3.4.8 T, 
Onin, ~—> Ü,  àa.8., (3.4.8) 


并 对 任 给 的 T>, 6>>0 存在 N 0, HEN E nN, AER 
m. ns ms min, T»)--1, 都 有 


Fi 
| > Giy 
f=n 


其 中 omo, TE RMR (2.4.3) Bron. 
证 明 AK (3.4.2) $055 (3.4.8) 48 


n—1 
(dg SA. 1 = Oy ($: 844.17 ^ e141) 
— (Bà TX Éigi— 
ee 


«T, (3.4.9) 


n=l 
* 1 25941 72 0, &.8., 
一 工 iz Foo 
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用 分 部 求 和 法 知 , FEN, AB ney, HE mons mm, T) 十 
1, WA | 


"m "m R—1 m-—1 1 
pà Bipa | = | Gm 2 8; 1.1 — Bp 2: St pà C0, — 6.1) E By41 
1 m— 1 į 
AY ST +b 9 8:41 i; B, 
i-a i-i 
1 1 | 


现在 , 我 们 给 出 本 节 的 主要 定理 , 
3538 9.4.1. 在 假设 六 3.4.0 A 3.4.1 $1 A 8.4.2 TF, BR 
MEIN RM JE (3.4.5). (3.1.9) fI (3.1.4) ERE zo 都 有 
lim #,=@°, a.s., (3.4.10) 


nua 


的 充分 条 件 为 式 (3.4.6) 成 立 . 

而 在 条 件 3.4.2 和 妨 3.4.4 下 ,车 上 述 算法 中 性 x 或 当 
c C) AAR, Ratei 24 0 (n) HAMA, Roa" — 25, w m), 
WA 4.10) gy a7 FR] 45 E A (FR (9 4.6) p Sr. 


因此 ,在 A 3.4.0,A 8.4.2 I AMT, 1 a, 7 7 时 ， 为 保证 式 


(3.4.10) p sz Bj FES 4E TR TF JEN (3 AGRE. 

证 明 注意 到 式 (3.4,. 所 中 的 六 可 任意 小 ， 所 以 式 避 .4 生成 
X. BARC .4.10) E BEAR A SER 3.1.1, 

现在 设 A3.4.2 $0 A 3.4.4 f vr, 同时 上 述 算法 m.» 2^, 
MA 2 天 ?算法 中 的 裁 尾 次 数 必 定 是 有 限 的 ， 即 存在 N, Mi 
不 时 ,算法 成 了 通常 的 RM 算法 . 

W= 2, +h (0j) P0485, $20 IN, (3.4.11) 
FE EA LE EA 2, MEE ACR Pe N 加 到 mw, 则 有 


zal —Loy+ > abe $ ian) 
"n Sene, (3.4.12) 
Yb i=¥ 


由 于 d. —> g a.8.,7F H lim sup 1a, co, BFE sk (3.4.12) nT H, 


& 3.4 X px BEI SER Tr 355 BES 59 
I OM iat —> 0 a.8., (3.4.18) 
而 从 A3.4.4 Al, FEE £C (0, D, 1 
14 $= 2 enu. 


Se T (8.4.14) 
进而 有 
| CE — 7 lki- (3.4.15) 
id A, -$ 8i, 
于 是 有 


= PA T E: e ia Aii AQ 


N 1x1,, . 
一 ds d ri "S Gy y T 2, (ia — (à-F1) 8:1) Acad, 
(3.4.16) 
TH S 03.4.18) (8.4.15) :0(3.4.16), WT Ad 


nh— 


" 1 
Jandal «| Sie: | E S jadina- 


+ eydy] ——» Ü 2.8., 
To fa— co 


注意 到 式 (3.4.14), HEERA. AORE. 口 
从 定理 必要 条 性 的 证 明 过 程 中 ， 特 别 是 从 式 (3.4.12), 


(3.4.19) 和 (3.4.16) 可 见 , 这 时 的 a, 与 二 Mp SEG E GR GE, GR 


此 , VIE SEA HE RISE Co; BY BUB, 要 比 充分 条 忻 中 的 {an} 强 得 多 ， 
不 过 , 由 于 在 实际 应 用 中 , {an} 的 选择 是 人 为 的 ,而 且 在 $3.3 中 我 


MERT Ham- 时 算法 具有 很 好 的 强 收 化 速度 ,所 以 不 妨 就 
ka=- 为 步 长 因子 , 而 这 时 出 本 定理 知 ， 量 测 误 差 只 要 且 至 少 


要 算术 平均 为 0. 
注意 到 m 一 0, MIR a, dE, 用 Kronecker 引 理 ， 从 


A2.3.8 立即 推出 式 (3.4.6)， 


60 FÉ HL3E TE RE ee si 33x 


最 后 需要 指出 , 对 较 一 般 的 fau}, 例如 对 满足 A 2.3 108 (8. 
式 (3.4.6) 并 不 是 “an 一。* a” 的 充分 几 要 条 件 ， 文 献 [16] 中 已 举 


8 T CI. 

定理 3.4.2 R A2.4.0—A2.4.2) 3, HJ—a*, ROHE 
2 处 连续 , 那么 oa 的 充分 必要 条 件 是 A2.4.8 yr, 

WEBB. (ME) 


$9.5. 算法 的 稳健 性 分 析 


当 算 法 收 伍 性 条 件 不 能 严格 满足 时 ， 算 法 会 有 怎样 的 浙 近 表 
Jil, 这 就 是 稳健 性 (robustmess) 分 析 ， 在 实际 应 用 中 ，. 人 们 都 希望 
- 所 用 的 算法 的 收 伍 条件 能 经 得 起 小 的 抗 动 , 也 职 是 说 , WSR REE BI 
— HK Niet, 不 致 造成 算法 的 巨大 偏差， 甚至 发 艇 ， 也 承 是 希望 算 
法 具有 稳健 性 、 稳健 性 研究 工作 参见 文献 [12, 19] 
Aw «mo 
Veri h(n) TB nel, (3.5.1) 
Da 是 对 29 BJ RS n 次 估计 , eui 是 量 满 误差 . 
RRS HR BB RM WE (3.1.3), (3.1.4) 的 稳健 
FE. EISE EE ART. 
A8.0.0 ACE ROR HARE oS OCR, RNA 
要 求 h(a?) =O), 
A8.5.1 PRAT aH, 6,90, $a, —oo, HFE No, 
对 rN, 
LL KiM anaE, (8-5.2) 
nti fn 
A3.5.2 存在 二 次 连续 可 微 ROR IEA BR vC: vo") 
70, lim v(x) «oo, 并且 
vio) h(m)-0, Va. e—a] >ez) (8.5.8) 
A 83.5.3 量 测 误差 1 满足 
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«;e«coo, (3.5.4) 


lim sup | On > 8.1 
e WI RMI o CREAR), 

和 上 一 节 的 条 性 相 比 ， 这 里 的 8 和 5 不 一 定 是 0， 这 表示 使 
算法 收敛 的 条 件 不 严格 满足 , 我 们 要 研究 算法 给 出 的 估计 对 2° 的 
渐 近 偏差 如 何 依赖 于 e 和 e. 

作为 算法 稳健 分 析 的 第 一 步 是 讨论 算法 的 有 界 性 ， 这 是 最 粗 
路 的 稳健 性 , 计 且 一 旦 算法 有 界 ， 当 充分 大 时 ， 截 尾 算 法 束 成 了 
非 截 尾 的 算法 , 处 理 较 简单 ， 嚼 一 方面 , MRA RE RI 
赂 满足 时 ， 对 较 一 般 的 回归 函数 ， 目 前 还 不 知道 通常 的 RM 算法 
是 否 还 能 有 界 ， 

在 这 一 节 下 面 的 讨论 中 , 样本 都 是 固定 的 ， 

在 算法 (3.1.3)、 3.I. 和 中 我 们 用 了 一 个 固定 点 必 , 当 算法 超 
则 一 个 随时 间 变 化 的 活动 界限 时 , IE S dv E $E o, id 

do =v(a") , (3.6.5) 
由 于 aa) 一 一 > oo, Br al Rt M 充分 大 , B 


| zz] 
l< M, inf(e(s)|m]T M)Ad»d., (3.5.6) 
KEE (3.1.8), (9.1.4) HAIR Mo 适当 大 ,使 
MM 8, (3.8.7) 
BSE 0«70,« E 


[91, 8g] C- (do, d), t7% <4, (3.5.8) 

由 于 oC: ERE, v(a) =0, Br ELTÉXE e 0, fi 
iz: v(2) 20i) C te, |o — ^| >e"}, (3.5.9) 

id 

万 = 12, 85,&v(2) <a}, (8.5.10) 
h= max Neto) | ， (3.5.11) 
U =a, |e « M 4-6), (3.5.12) 
ri max|w(w]|, re=max] vs (w), (3 5.18) 


这 里 vum) ERE VC @) AY — ris SS 3 BT a ER. 
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AT 02d, PUN D rnit fe 2 vex M, 因 此 DCU, 

还 记 
a= — max h* (m)v,(m. (8.5.14) 

下 面 只 讨论 式 (3.5.3) 中 的 exe’ 的 情形 ， 从 式 (3.5.9), 
(3.5.10) 41, 对 2€ D, WA le -g| >>er2e， 因 此 ,由 式 (3.5.14) 
定义 的 6>>0. 

a AC) oC Ee, MFE >>0, 有 >D &C (0, T], T" 
使 下 面 渚 不 等 式 成 立 . 


è 1 
T's tthe (3.5.15) 
~o>-a+5 ra +h T", (3.5.16) 
-B»-—ern: max — [|A(5)-—RAÀGDl (s gr 
| lo plc de"+T* 19444) 
max j|e(a)-—v(y)| «95— 81, (3.5.18) 
Monee 
8*« 8T* / (Brit lére), (3.5.19) 
i-r ril Ta + Cha +28") 7" ] 85. (3.5.20) 
当 exe" 时, H A 9.5.3, a AA VS Nu, 使 对 m N ag 
mi 
0% 8" / (21) a| 3r «lb. (3.5.21) 
1/2 pa i+ I 8 . LP. 


引 理 3.5.1 È A 3.5.0, A 3.5.1, A3.D.3m vr, HAR 
(3.5.4) B ffr exe, X 0E (3.1.95.. (3.1.4) di Ma m x 
(3.5.7), MANET (SN) Ke lola, 3543) EX TC 

1 
|o, DI 
S agn; | <68"-+2, Van, n mmn, T) (3.5.22) 
证 明 由 于 当 了 上 升 时 , m(n, 也 ) 非 降 , PU S| MR BN Po 
1, 
di 证 明 . 


反 证 法 ， 假 设 引 理 不 成 立 , 那么 存在 m, 使 
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i+ 1 
pà Gil iei | et ea | 


m minim, Y mes am (n, T, | 
那么 对 任意 m msoms m. 就 有 
Vat 之 Yi | «del + [S iix | 


« M+68 --2 Mq M, , (3.5.28) 

BELL st (3.1.8) At; 
Dnt = Da 6a uri, VTL RMS T, (3.5.24) 

fH b M oma 的 定义 其 


ffi + 1 
Peri 24 t+ Gu iVm sl 一 | 之 Giisil > Ge" +2. (3.5.25) 
AA M, Wak (3.5.28), (3.5.24) A 
len] <M +6e"+2, Vm nmam, (8.5.26) 


SASK (3.6.11) A 
a (tm) | «Ah, Vm, nom t+). (3.5.27) 
注意 到 式 (3.5.2) 和 (3.65.24) 便 知 


| ni | Th "I mi—l i 
A 68i | — Bing TY) Bitt Us Asi > (@;— Aia) D a 
jan | i21 ral {=n dal 


11 : 
<7 8 十 € Gt la, $ sl 
il Up. 


AX (3.0.27), (3.5.28) LE] 


| Prati — Da F Bing 1Yni42 | = | Tmt Dn | 

Ti 

2 ak (m) 
NH 

ST "mi 

P 2 817 2i sesa 


n TES Sd, EE + € 


一 (六 + 时 g “7 -F6s" «2 +64", 
3X X (3.5.25) Aa, BRERA, 口 


十 | VER (mt) + Bin 42) | E 


+ mati + Om ii 


G4 MIETE EE E 15S oS 


3/:3.5.9. 在 引 理 3.5.1 的 条 件 ， 对 任意 refo + | 
成 立 
| 2m — 2. «85* --T'(h,--28' ), Ym. nx mm (n, T) 1, 
(8.5.29) 
证 明 Flo < 用 ,用 引 理 3.5.1 知 


= M --5s'--2« Mx Mo, 


m 
Dy 十 2: t A PRA 
zn 


Van, nm mn, T) +i, 


根据 算法 的 定义 知 
Dmt = Vm 二 mm T) +1, 
FH lon] <M+6e"+2, [A Cas) A, 
所 以 ， 


«UT 


m—1 ' 
jon- ml< [S ah) ts) 


| t—1 a—1 m- 1 
十 Jam- 225617 6, 24510 之 (6, — di 1) Seal 
= = zn = 


< uT + a 4 IL pet coat +P (hi +20"), 


Vn. namam, Ti+, c] 
a WE Be Ze dee AS XN Em, 也 就 是 当 570, e>0 时 , 下面 来 证 
3 (3.1.8). (8.1.4) £& ER o, (isn — S8 7T. 
| 定理 3.5.1 R A 3.5.0—A 3.0.8 成立 , e" 满足 式 (3.5.9)， 
e<l 那么 对 固定 的 样本 , EXEC T: sE [0, e*] 及 eelo, e] 
的 ,使 


sup c,«,0-« oo, 
n 


BB (3.1.8) (3.1.4) £8 IBI] ao XE m — RA. 
证 明 反 证 法 .假设 定理 不 上 成立, 设 正 整数 vo 充分 大 ,使 
aT ror N, (3.5.90) 
XB NSN, HEM n>N BR (3.5.21) mar. 
MGE] RIERA, FE eC [0, e" ] Em i ori A rote, 


$3.5 FARE aE ET 65 
设 no 是 使 下 式 成 立 的 取 大 时 间 ， 


fto-1 


Fo = 2. Los cauta. (3 5.81) 
Wh (3.1.4) no RATE RI 
Ga, = To, Gmi Tot 1l, Gu, i7 2's (3.5.82) 
X Mst (3.5.20) (3.5.81) 4 
n927 Ta 7^ N, (8.5.99) 
RAE BUE ZR PET. 必 存 在 moz no 2, 使 
las E > M, (8.5.94) 


WE x e M, Yn 这 no 十 2, SEA (35.27) H 
|| sail SM + lese (m2 [ neas 
n E—1 
Bn DE — Oy Sl 
«ML E. g* « M +4< MoxAM,,, 
Vnz»ng972, (8.5.85) 


«M aua + 


Fst (3.5.32) — à s BH 
Qm UG. eS 14 Gn uum Tg Amr, Vang 2, 
而 这 和 反 假 设 矛盾 , 所 以 式 (3.5.,34) 成 立 . 
Wat (8.5.5) (3.5.8) (3.5.82) I 


9 (9,41) = vp ) <b, (3.5.86) 
X MGRG.5,.84). (8.5.6) & (3.5.8) 4 
Ttm a  mozno--2, (3.5.87) 


我 们 来 证 ro>mo 二 23， 为 此 只 要 证 明 
Vd, r2) «dap, ABA d 3X (3.5.37) Ui BH Mo 7779 7-2, 
EER usd = lo] <M, Aish (3.5.35) 26 A UE BR 
lengi F n ean tall mM +4< Mox M,,, (3.5.88) 
MARG. L.A 
Enea = Dreti F Anatinae | | <M+4, (3.5.89) 
st (3.5.85) X (3.5.89) ZAH 
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lanaa anaal <1 et cde. (3.5.40) 


TERE S, a € U, 24260, MK (3.5.18) 
(Dayo) SU (p41) 2-03 — O1, 
Fist (8.5.86), At Cana) <ða, DUR (3.5.87) RA 
qma.) 7705, mo Ny +2, (3.5.41) 
于 是 可 以 定义 
^»,-— maxié. va- <1, ng-- 2« mo}, 
n,--minié. v (2) 785, no + 2« d mg, 
这 样 就 有 
Up) 81, vou) 7763, (3.5.42) 
Om ¢(a,) <52, Vi, maian l], (3.5.43) 
1E5|28 3.5.1,3.5.2 OR nen, T=", Pb E (3.5.6) 
以 及 v(2,,) «92d, EA jon « M, FH9[ 8 3.5.1 &: 2.5.2, 从 式 
(8.5.80) 知 a, <2", 注意 到 式 (3.5.33) KB moet 2 >r EM 
o T", 所 以 和 tn TORA XE X. 
用 Taylor 展 式 得 


v (Dmt T8) » —'* (Dar) = (Dear, T) 一 Bas) uu (a...) 
1 
t» (aos, m 17 La.) Vre (9) (Ditar Tn) , (3.5.44) 


这 里 nc R!, v Nr ETE Dui E JZutm,T*)41 BIRTH Sb IR LB. 

WE V(Bintna, TY 1 Li 然后 证 明了 这 个 小 等 式 将 导 SUP. 

用 引 理 3.5.2 5n 

{| Pinter. 701 — Da l « Be" ET" (Pn +22"), (3.5.45) 
ly — a, | < Se" -- T (5, 4-28), 
所 以 
I|» « M + 88" + T* (2-22) M Sot EE 
OM +-5a°+1< 4 -+6, 

Mik (3.5.19) 49 $C U, MAR. DIDE |r C ra, H 


2138 3.5.1, TT Re It KS 6.44), 
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(ny T) 
Dm P41) 一 向 (ma) Res p> i; (AT (a) — £141) Us CH 
+E GET" Que 227)? 
"n. T) . min. T 
« 2 GH (Om) em) 十 $i mA n) - AT Cm) Cn) 


mín. T 4 
toO) Gein Ve Gn) + (Be +I" (hy-+28"))*, (3.8.46) 


TE Te Fil V Bae) <b1< da, gh EJ loi] m M, dic U, 把 式 
(3.5.38) (8.5.40) PR nw 十 1 换 成 mu 一 1 后， 它们 照样 成 立 ， 因 
紫 间 (3 .65.40) 类 似 地 得 到 


Dn € U, | a — 2-1 <= a. 


用 式 (3.5.19) 及 Taylor 展开 式 便 知 


(Vm) — eG 23) | ve (B2 | > | Dea mil 
18 a 
sI TË, 
所 以 


arm 二 af +3 rtl re (3.5.47) 


MRCB. BM m, C D, fk (3.5.40) RA 3X (3.5.46), 
FFA re 5.14 UH 


V Dmm r1) O1 Hi re" — ad" 


+ Guns TH | A? (a) Vel Da) | 十 Yi max |^ (Bus) 


n«dxmin T" 


imn. T * 


T 6854 


Pm 
1-54 


—h (a) | +r 


OR [8e T" (hs +28") *. 


"in Ts T 


wt S as HRP (8.5.28) 的 估计 知 


18 
Voca P41) SO; TU p,8' — of" -- a, oTi 


o8 Eig 35 FACE ELE 3 3 
^r" max Alaa Aln | 


nx mina TU 


xL. IL que n [8e +I" (hi +28") |, 
(3.5.48) 


1:38 391 (lz, | <M, 并 用 引 理 3.5.2 知 
|a — tmh < Ba" -HT h --22*) 8e" -- T" (51-2), 
| (3.5.49) 


ELE 
|| am | « M +e + T* (hy + 22") « M -- Be" --1« M +6, 
Vm, n, mx mnm, T*) +1, 
所 以 s.,C€U, ”用 式 (38.5.17), 从 式 (3.5.48) 得 


@( Data T) 5891 +2 rs- aT" 
tanh +T*(a—B) +028" (144 4m) 
+ [Bet -T* (ha +28"))?, 
E Ast (3.5.16) 4] 


V Puts TED Ot 18 r8" 
* 1 . 
— T la+ Talh +2) 77" | ra, Pai 
+T" (a — B) + 948" (L4 il T") 
+ 790"? Brest" (hy +22") 
TA T (hy +28") 28, — &T* 
X 


+9738" m e+ BI" (h-- 28 )), 
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从 式 (3.5.21) 知 a a S, QE XE SE GR (5.15), HAR 
(3.5.19), 18 
UP 41) 04 — BT" Be -E14ros' 8, (3.5.50) 
另 一 方面 , 用 引 理 3.5.2 RA (3.5.18). (8.5.20) & (3.5.47) 
FIM ER m. me mn, T'-41, 
Vm = (m) + OECD) (Sm — Bn) 
«0, 13. vu er [9e +2" (hi +2e")] «8s, 
(3.5.51) 
在 上 面 Taylor RAK OCU, 
Most (8.5.42)_ (3.5.43) (3.5.51 8] 
mn, T +1<m, 
不 以 V (mem T8 1) 204, xx filz (3.5.50) FB, 说 明 反 证 法 的 假设 
所 成 立 . 口 
推论 3.5.1 从 定理 3.6.1 H FE >), 8'70, 4 ec (0, 
"ej, e€ [0, e" 1I, (EXER UT e F e Hy o, E 


|o. <M, (3.5.52) 
并 对 充分 大 的 Nie Ny), Bane BL, 
Pnt1 By + GC n.) -F8,41); (3.5.53) 
也 就 是 说 ,算法 (3.1.3) (9.1.4) 3 v NB RTM RMH 
E. 
T 
max oc-(m)-— Ls, max leiw j= Ea (3.5.04) 
jaja +ë Ir[ 
Dax in (2)] = Za, max. lorea) =Le, (3.5.55) 
FER p>e, 记 
ap) = min —AÀ"(z)w.(wm), (3.5.56) 
Tor 


从 式 (3.5.8) 知 , a(p) 50, FE 
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B(p)- max RA'(z)w(a). (3.5.57) 
AH (3.5.8) HAY ¢=0, W 8(o)<0, 否则 它 可 能 大 于 O. 
现在 给 出 算法 的 稳健 性 结果 ， 


定理 3.65.% 1 A3.5.0—A 3.0.8 成 立 2, 由 式 (3.1.9), 
(3.1.4) £518, My HER (3.0.7), SEA EE Oe «1, 60, D 
RUE X [0, oo) Ef 3E Be, AES RM (0 —> 0, AB A 3.6.2 
中 的 esce", A 9.5.9 中 的 esce", 就 有 


lim sup lie, — 2? | 
no 


<f( >> BO V) TI eI BL 2AL;s )- 8». 


Vo>e, (8.5.58) . 
Sip b fO) HON mor) 会 min v(a)fM Mae me. f (t) - mini, 
mr) = th, 
推论 3.5.2 当 式 (3.5.8) 中 的 e—O 时 (A (20) 不 一 是 等 于 
0), BIB (o) <0, 那么 式 (3.5.58) 石 端 为 


ET 84-8 L,o-r-24L,8 )+8e PET! FOL. 


E 3 e—0, PE o 可 取 任 意 小 , 所 以 (3p) 可 以 任意 小 ， 也 就 是 
ULM REI. Ol LEED, 4 A 3.0.8 中 8s=0 时 ， 那 
AER (3.6.58) 中 两 边 先 把 e0, 再 把 o0 就 得 


lim sup [a,— 2| =0, 
而 当 e>>0 时 , p 必须 大 于 o, 3 50 时 , 式 (3.5.58) 右 端 趋 于 
aay BO) vosta) 


所 以 当 e—0 时 ,估计 误差 的 大 小 取决 于 5 — (p) V0) Sag 
的 大 小 ， 如 果 式 (8.5.3) 中 的 60, 则 p0, 这 时 个 计 误差 取决 于 


3 
ap) 
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EH 3.5.2 M UESH 给 定 后 , 递 推 地 定义 


Unt = Us + On — Unt ener), (3.5.59) 
我 们 来 证 ;只 要 NSIGRNO3EZ X, 就 有 
sup |u,| «88, (3.5.60) 


sedens 并 认为 TI (0-2) 21, YESI, 从 式 (8.5.59) 
Al 
ule | TE eue SE manas. 


< fanl oxp[ — $ a NE >) II Q- aera). 


我 们 认为 N 已 充分 大 ， 根据 A 3.5.3, 
| x8. | « 35, Vas N.— i (3 .5.61) 


那么 其 上 面 得 
Jil Solt) + Jes- Ti (1— j) ds, 385. 


n—1 n—-1 ft 
"E Po (1—4)} 4.8, 一 Pu ,Àl, (1— a) dos 


oll) 二 4 十 bg Jl, | 6s (1— 0,41) — Gira] si 


-N, 


Gu c = 
«o(i) PETER i“? xp( - > as), 


frit? 
(8.6.62) 
因为 e. 3:18, Br E ash (3.5.20 
~ Gy ya <1 — rU — a0, (3.5.68) 


不 失 一 般 性 , UW ases. >N, 所 以 由 式 (3.5.2) 知 


fin 3 
oe Sg e 3.6. 
ru + 5 ( 64) 


ist (3.6.68), (3.0.64) HAR (3.5.62) rb, 得 
n n=] í 
[tinalo CE) -+ 4e +2sexp( — Sa, "oT Gi OXP 2 a) 


73 ES LE Fr RETE ETE R33 
n n-1 $41 
« o(1) 2-4ds 4- 8e exp( — > a;) bà LL exp( $; a;) 
Jal t=- 了 一 由 
n R—1 i+ 
«o(1) -4e--Seexp( - Maj) S (o%—1)oxp(Sta,) 
J=1 (1-1 “el 


n nl Ni 
= 95 一 aj- 
0 (1) -- 4e - oxp( 2; a; exp 之 ai) exp( 5 a;)) 
<0(1) +4284 Beet (3.5.65) 
所 以 Him sup [u, «Te, 由 此 即 得 式 (3.5.60)， 


4 na Nae hf, |an il M, +8, Prel 
h* (a) Ve (Ba) Ens, uel alp) Dols, —29i24] 
& — ap) (a, — Ha) Eos, otiose]. 
对 n> N HR (3.5.54) (3.6.57) R Taylor ERB 
V2 Une) = 0 (s — Un) + On hh" (a) HUE) Vg (s — t) 
+ al Ov (s) FUE) tee) OG) thn) | 
« v(m, — Uy) F a,À* (24) (Vs (m) — se (Mn) Un) + nd La 
+ bó D5-- 6487) a5 
« (1—a(p)a,)w(a, Wn) 
a, (0 V AF (m) v (m,) ) Eia, ote] 
HALPA Dy — us po, ooo) BE, Lely 
+4,8.0,¢4+ La D5-- 642?) o2. (2.5.88) 
24 [24 — Of «p Bi, 信 om, Un). 
vias 一 Us) Ins, sois] 
= [v(25) + ve) (m, — 1, — 2°) ] * Ls, ei eo 
ERES jor a | <p, 所 以 
2° | ]a9—2, 4-2. | «& M, -- o, 
itt ln Me 8, Ive) isin, 所 以 有 
vay — Un) Is, oop Lap 7-88), (2.5.67) 
in Li=8(LaLs+L), Ly= his (Lá 4 6427), 
JR (3.5.66) (3.5.67) 48 


8 3.5 SEE Y T 78 
*(2,41— Wn+1) < (I— a( p) Ga) VBa w,) 
+a OV 8(p)) + Elot Bea o) a, 


+ Lata, t Doai K exp ws un) — > ap)a 


+ H -alaa OV ee) 
+ Iy(p-+82)0(p) + Tse Lots). 
和 式 (3.5.65) 一 样 类 似 地 证 明 
$ IL d-a(paacs D am expl- X aloa | 


4=¥yi=t+i 
S Jap as PL Bata] > 2, (gene '—1exp| Ya(o)a 


g* pna 


所 以 
Ul Baga ei) < ON, —us,)exp| m p a (p) a| 


pF ente ((0 V B(p)) + Tuert Day.) 
2a(p) 
+5 eean fA pot BeA f,, (3.5.63) 
定义 
mir) = min vím), re, (3.5.69) 
mèr) Jide BE p, m(r)-— e m0) =O, 


取 Tay 18 m(r,) 726, 那么 


v (Map 7 1) & 
sg LiB FCD. 
f= min[r; mr) =t}, 
显然 了 (*) 左 连续 , FR, SO 0. 
从 式 (3.5.69) 及 式 (8.5.70) 可 类 


mi Ta} «mir. (3.5.70) 


Tå MUL Se Re RE B38 


12,44 — Ua — a» || «T. = f (2t,) * 
FRR (3.5.60) t, HEX 从 上 式 知 


lim BUD fan — a! | 
| | 


«(i (0 V Bp))+ Let) +821 (0-88) ) +88, o 


4 


BE Ps VEYA BT a TERR 


在 第 3 章 ， 我 们 已 比较 充分 地 讨论 了 随机 逼近 算法 的 几乎 处 
AE, 本章 将 来 讨论 算法 的 渐 近 正 态 性 及 渐 近 有 效 性 , 估计 
的 渐 近 分 布 对 假设 检验 很 重要 ， 而 使 估计 误差 的 协 方 盖 库 渐 近 地 
达到 最 小 的 估计 ， 自 然 受到 特别 重视 。 一 维 随机 逼近 算法 的 渐 近 
正 态 性 见 文献 [26], 多维 的 见 文献 [88, 88]， 以 后 不 少 学 者 继续 从 
事 这 一 问题 的 研究 , 将 以 上 结果 推广 到 相关 量 测 误差 ,so 、 连 续 
时 间 情 形 co 和 非 线性 量 测 误 差 等 Ga, 8, 87 88, 805, 

钟 开 莱 在 文献 [26] 中 还 指出 ， 如 果 我 们 能 知道 回归 函数 在 堆 
点 的 导数 (多 维 情况 时 即 梯度 阵 )4= helo?) ,可 以 取 步 长 因子 由 = 
= A^, 这样 得 到 的 RM 算法 的 渐 近 方差 是 最 小 的 , 也 就 是 说 算法 
是 有 渐 近 有 效 性 . 但 是 联系 到 随机 融 近 算法 的 问题 本 身 ，4 阵 不 
能 狐 先 知道 ,因而 这 样 的 算法 实际 上 不 好 实现 ， 文献 [86] 构 造 了 
一 种 适应 性 的 随机 逼近 算法 ， 在 每 一 步 利 用 观测 值 构 造 出 4 MEE 
商 估计 AL 然后 令 aum AL, 最 后 证 明了 新 算法 的 渐 近 有 效 狂 


到 1987 年 以 后 , 这 个 结果 又 被 推广 到 多 维 情况 , 参见 文献 [91]， 

AGE AL AG RRR MARE, dB. 
所 要 求 的 条 件 过 强 , FP Ee 28 3i a. 特别 在 高 维 销 沈 
计算 量 大 增 ， 此 外 还 要 考虑 A, 可 能 退化 而 引起 算法 发 向 的 问题 . 
由 于 这 些 缺 点 , 人 们 第 望 上 其 已 办 法 来 实现 渐 近 有 有效 性 . 


直到 80 ERK, 文献 [76, 97，82] 采 用 次 减速 度 悍 于 二 的 步 


76 Be LIBS R ASEM mast 
长 因子 ,例如 二-， oci, 使 算法 的 收敛 速度 减 慢 ( 见 8.4.2), 然后 


ES ATT ROE, BLT SLA, BEE 2A, 
25, 60, 61, 95, 96]. 


$4.1. 线性 递 推 估计 的 渐 近 正 态 性 


Ek- 83.2 p 3€ [128 28, 4AM RRA) MARE 
(3.2.1)mf, AER BUE WIE (S 1.20, (3.1 40) BEBE RETER 
性 递 推 方程 (3.2.9) METER, 3x — 1 PUDE PEE 2S EE f 
计 的 渐 近 正 态 性 , 也 是 为 下 一 节 做 准备 ， 应 该 注意 , 在 讨论 渐 近 正 


态 性 时 ， 步 长 因子 不 一 定 限于 T 的 形式 . 


我 们 要 用 一 个 双 指 标 随 机 矢量 的 中 心 极限 定理 ， 记 为 引 理 
4.+.1， 它 的 证 明 可 参见 文献 [74] 
5|38 4.1.1 i £u, d b ns 是? 维 随 机 矢量 列 . 


i Sax ES uis Ray EC WERE "Tg fai), 
$,- 3 Sm 
假设 
EE £n, ttg Ent- =O, (4.1.1) 


sup > E|£4|-o, lim S,=8, (4.1.2) 


lim $ E[S- Rl 0, (4.1.8) 
mm k= 
Hm 3 Ehel Lum, Ve>0, (4.1.4) 
w 
S£. NO, 8), (4.1.8) 
k=l T—o 


以 后 我 们 总 用 NCO, RPM AS WH BA S 的 正太 分布 ， 
现在 来 看 ; 维 线性 递 推 信 计 (3.3.9)， 


§ 4.1 £& ee 3i PE f iE ERE E ASE n 
Umi EET N AETA Vil): 初 值 uo, (4.1 .6) 
WHEAT H, RRA, UTER ULT RE: | 


åA 4.1.1 04,770, G,—»0, J a, co, Wl 一 > ad, 
{=l > oa 
(4.1.7) 
À 4.1.8 H,—» H, H+ al HREH. 


À4.1.3 PE OCN An), e,— Y Cos c, wi = 9, i0, (4.1.8) 
{=ù 


Oi 3 Ux DE, S IO, | «co, Tij fes, Fob T RREY, 满足 
Fi (ax. ,2,) = 0, E( ox |?! 5€, 4) «o, Valo hy tk Br), 


(4.1.9) 
lim Ei (cx F i- -1 =So, a.8. (So 3 TE), (4.1.10; 
lim sup E Jes} Tinaas = 0. (4.1.11) 


1 | 1 
容易 验证 ， 当 d Bj. Qari 一 Ga "5 M dum —, 时 ， 可 — 


a. log n 
«1, a0, E TVAE AS LLL, CAS =, BSL a 


E , B«1 也 使 A 4.1.1 o 
IX X 072 
E (had? Fi) «E, V4, 


天 为 一 个 常数 , 那么 用 Holder RER et 2-1) Markov 
不 等 式 , 就 有 


lim snp Eo, | ? T ou X1 


PLI AM 


2 ENT 
«lim supE(l1o,l )* (E onan” )* 


2 2—2 
«lim sup kt (El Iuan * 


2 2-2 
«lim sup $? (Pon z7N) * 
=c 让 


7g . APALARA it 4 


#—8 
2/ Elo E) 
ü T" 
«lim sup 1 N? 


a 208-2) 
«lim gê 7 


M+ 


a —0, 
$ 


所 以 这 时 , S (4.1.11) Rew, 
仍 沿用 $3.2 中 引进 的 符号 , 记 
[~ (T+ He) (T+ HA TE Hann), kem, 
Ppd, 


(4.1.12) 
当 H,— H, HARREN AK (8.2.1058 


|&., ceo exp( e S12), co o>0 为 常数 、 (4.1.13) 
进一步 可 有 以 下 结果 . 

215 4.1.9 %a,>0, 2,0, S as co, H,—> H,H 3j 
BEM, WAHE 77-0, 


sup $a, |, usse. (4.1.14) 
证 明 由 式 (8.2.11) 知 


Sad aule Sia exp (7er $ a), (4.1.15) ! 
k=l k2i fm 4-1 


wu 

Mog -eteti M oc Ont OMERTA -i+ 
0, BF LI 1—e7t-- A Sa, Vax0, Bit, 
t 

"n 7" i 
Sem -or $a) 


i-Ek-l 


< 2 > (i 一 日 十 Cerda) Noxp( — er > ax) 
E 2 [exp( —ur X. a) 一 oxp( — er» as) 


$4.1 SSPE EMA THAD MIE ASHE i9 


cr x 2 i 
十 一 D aspi -er D a), 
2 (31 


此 一 
C u Í 
或 者 x(- Tes oxp( er Pa a) 
对 充分 大 的 hz Sac , Veh, 所 以 
Sarorp( -or $ M. a. 
<T at? È 1-£ a, Ja, oxp( — oT > a.) 
"rong 
< by ut, (4.1.16) 
k=1 CT 


与 式 (4.1.15) 一 起 就 证 明了 式 (4.1.14). 
g|:4.1.3 41r5i[2 4.1.2 HAT 记 


9, ,-oxp( H $ a) — 8... 
那么 sup |. oo, FF ANA. «| > 0, 对 nk 一 致 ， tT eB ky 


18,123 Ô, 
证 明 用 Taylor È A g, oe * = (I+, H +A), [Al = 
O(ag, Bre 


0, (Tal + Anexp( HS a) (T+ aH.) Ds, 
= (a, HO sa LUE Hn) + A, exp( HS a) 
-= 219. s (a H— Hy) +A) exp (H * a), (4.1.17) 
这 里 SiaA0. 
因 玖 稳定 , 所 以 存在 常数 00, p>0, 使 
|exp( = 3} a) | «e; exp(—p $ a) (4.1.18) 


Sak (4.1.17), (4.1.18) 48 


80 MAPLE WEBS ry E ER mam 
16, EÈ Iq, das (o1) "Oa )esexp( — o S a) 
«o op (00D 0(22), 
对 任意 620,24 jek Bt, (0) -0(a9) ) «5. BEY SR 4 1.18) 


A 
18,51 <5 23 2; | Pn 3411 


十 Coc = is lexp(— $ a) (o(15 +0 (a;)), 
注意 到 > a;--co, 利用 引 理 4.1.2 由 此 立即 得 出 引 理 结论 . 口 


引 理 &.1.4 设 2,0, a,—0, = a,~0o, A, B, QI 
IXI RE, AMBAE RA 
1m Sa [ep(4 $, ejje (o $e) 


A Fis 
= f otqa” di. (4.1.19) 

ug xXpIETO 定义 
s(n, T)-min [s Sj «T |, (4.1.20) 


$m 


dT a0 NOE T, X aT, MAMRE È a 


gin, 


ates we Socata 2, alos Rs) 


j= 


m ape (re A(T gM Pt) at 的 积分 和 ,也 是 N e*'QeP' di 


B: {+1 Ü 


lim $ p” [exp A * a)Q jexp B >> dj 


nae fH. i=i+i jmi+i 


-| sQ"! di, (4.1.21) 


84.1 £x SE dE ERU IE SME 8l 


ESE] A 稳定 ， 和 式 (4.1.16) 类 似 地 知 存在 党 BE aoo, 
sup $: adexp( 4 5 a) | < Tg) 所 以 


(m, T)—1 
exp(A ^ ay) | <0, 
p a 


APERE DENA N d arp (8 È a)|<n, 


Vnz»$--1, 因为 ABE, Pellet |< m7, Vte0, 20, q> 
0 Au 


Kn,T:—1 


lim > a lexp( 4 > as)]Q exp(B :2 È «I 


sin. 77-1 


sup $ d 
n, T jml 


" &(n,T)—1 B T]—1 Jl 
i CX a qox G 
<mlimloxp(4 È a) 2 «ma m e 
«7,0711, lim e77(T79« 277 = nonne ^T (4. 1.22) 
ooo 


RUS—4- Ast EM EMT, a(n, Ts oo, 
dst (4.1.21), (4.1.22) fig 
lim ya, [exp(4 X. a;)]Q exp(B = as) 
-lim im Žja[oxo(4 $; «Joe, e) 
MC IEEE OE 
= {etter at, C 
现 证 由 式 (4.1.6) 给 出 的 un OEC TE IS EU 
eal BRE ALLINA 41.8 成 立 ， «4 = tn 
近 正 态 ， 


RA u,—N (0, 8), 
S -| 。 (24 jer) + 3 Os SO Te regant ar 
0 t=O (zo 
证 明 dtu. A EME, 
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to (Ida, Hu,--6,6,1, u1—0, (4.1.23) 
那么 人 一 pl (I -rTeH,) (Un — un) T0801, 
FA SK (4.1. DA 


(2) - (az) 


-14 5 a (85h —a a; +0 (( s. deer y) 


Onyi 


—14 a,a+0(a), (4.1.24) 


所 以 
Wt — yai 


Gil 


= (1+ > aat o (a) ) | ra. H.) (nc T 6 Unta | 


Un Yn 十 Gs Uhti 


=(I+a,A,) Ja. 


这 里 


A= HE aI4 6,0H,+0( Va.) (Ica, H,) 


—> A AH4d al, 


而 用 A4.1.8 4 
va (Le matola) ) Or oC aci). (4.1.25) 
据 A 4.1.2, ABE, 所 以 记 
try = (I--a,À,) w(t di), Uninet, (4.1.26) 
Jk 3.2.10), 存在 常数 9-0, 02-0, d 


Np «bo exp( — > a), Vanek, (4.1.27) 


那么 


= Unti = dua (4 At) + Spies VE d; Viti 
nti 
(4.1.28) 


& 4.1 eb ee BB HEA TEA aE EAS HE 83 


HixX (4.1.27)-Al, 3X (4.1.28) P Amai noo BT RET 0, 用 
5|38 4.1.2 BAR (4.1.27), THEE RAI (4.1.25) Ba (4.1.28) 


最 后 一 项 也 趋 于 0, 所 以 -名 - 和 -te 的 极限 分 布 相同 ， 所 以 只 
要 证 明 


ut d 
Fa ase N(O, 8), 
ap, noo 


Fy a (4.1.24) AK (4.1.28) R M HEAR T 
1 
WAnt 


t2 atti Vaen 5 matola) ), (4.1 .29) 


dix (4.1.8) R3 (4.1.0110 Elel? + —SICRE aT A 
于 一 个 稳定 阵 , 由 式 (3.2.11) 及 引 理 4.1.2, 很 容易 看 出 


E | wa Z ava +0(Va))| —> 0, (4.1.90) 


n o 
ting 1 = 之 Waiti ^ di 之 O jwi i 
1> j= 


Br uR 1.29) Rer — SUC REGE c9] 0, 故 VEL 的 极限 分 
布 应 和 Sina 6 D Oros ARRA. E R 
们 只 要 证 明 

Ss Ve Om NO, 8), (41.81) 
固定 7270, 那么 | 

> us c N = O; (41-3 — 901) 
= x > Wns cea N 8 O (041-5 01) 
+ 局 和 av 而 Os oui), (4.1.92 


diae (4.1.0) A1 
rps rs ied va M CU 1-4 
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< S ICES bi os] 
j=r+1 ial 
< S lon halaa). 


HER 4.1.2 及 z Ici «eo, 便 知 上 式 有 端 当 roth Xa — 


致 地 趋 于 0， 所 以 式 (4.1.82) 式 中 最 后 一 项 当 *>oo 时 依 概率 赵 
FO, TACE. 1.82) t8 55 — TH AY EA 


p> a, ju, uri OA -È >) a Vrai 7604 41 


7=0 —0 ¢en—st1 


-Vober A Bins Passer Ops (4.1.98) 


注意 到 了 是 固定 的 , 对 uua 由 式 (8.2.11) 型 的 估计 , 由 于 Da- 


eo, 所 以 式 (4.1.98) 的 第 一 项 a. s. AEO 又 由 于 rr 固定 Wüa 
一 > 0, 所 以 对 式 (4.1.33) 的 第 二 项 的 范 数 求 期 望 后 ， 知 它 依 概率 


HAR 0. 
现在 来 看 式 (4.1.33) 的 最 后 一 项 . 


Hs AXGIGOA, WERL he tI 
(ay —1--O (a), 所 以 , 对 国定 的 v, 存在 常数 mo, 


ox (2 ) —1*«mod,., Val, Vier, (4.1.84) 
at} 


Br vA p 
ee Vm We 一 J dies Jas i sea) C 4061 


toned — 
一 > 2 Va; Qr, ea Wy, i11) C ja 
ji 


T "=j 


(= y -1) a O45 ner sO mua 
1-0 f= hiss 

ra—f 
= A 2; ^ i X VESET: x Aaa C on 

a0 io = 
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i SS £) ee di) 由 (4.1.95) 


-104-—l 
i 
对 固定 的 n, 存在 常数 ma, f b l4. C;l]a«v4 Vier, Ves, 
Viel, Er EA 


Ig 


- WE. 
LE pi / 0; zi .Pe es 
1 
2 \2 
< 这 (Ea | | c ) 
1 


f $ 
«x(Sla 3 Wess ats 3 Lois) 


2 Un. coe ex Asay 


k-1 


r H= f = 12,2 F 
«Xm $a > LION asx) 


1 
<$ C2 3 S alb, ala ) — — 0, (4.1.80) 
ERAT 0, 因为 aE jEr, Falih, iarr Wer ——> 0, mj34 4 


Ti I 


Sn 时 ; a, 可 任意 小 , 所 以 用 引 理 4.1.2 A058 (4.1.96) 1E A, Br LÀ 
对 任意 固定 的 7, 式 (和 ,1.85) 右 端 第 一 式 依 概 府 趋 寺 0， 类 似 地 用 
引 理 4.1.2 & 3X (4.1.84) 9, A411 SRB RRS 
于 0， 所 以 式 (4.1.88) = KH Be Sl 0. 这 样 , 我 们 在 式 
(4.1.82) P dj SCH nooo, 然后 把 roo, (RANK (4.1.32; A RI 
HE Re BBO, 这 祥 从 式 (4.1.31) 知 , 我 们 只 要 证 其 


> Die: Ja (DO) —, N(0, 2), (4.1.87) 


我 们 现在 把 办 .c+ a (È O) ow 等 同 引 理 4.1.1 中 的 


Sets FP SUE S| PAB ZR FE RC. 

因为 {@;， Fi} eRe, MUR (4.1.1) BRAM. 条 件 
(4.1.10), 3138 4.1.2 E s (4.1.2 RET R413) gf xr, 引 理 
4.1.2 保证 式 (4.1.2) 中 第 一 个 要 求 成 立 , 现在 来 验证 lim S, S. 


86 FS ELIB E RRI aE NS 第 4 这 


8,- 2 Bb ,tr1 (= oj Boroa 2 oY Paiti. 
(4.1.88) 
st (4.1.10). 8138 4.1.2 Est (4.1.27) 


[s.- S ad s 330s) Sol F; C.) dias | 一 0 
(4.1.89) 
1E9|3 4.1.8 中 把 Dnr SR. Fw AR ATH 


lar, SURAuGb MARI. MAM BARRA (41.200 
x exp(A $ ay ) e: |o, isa —3À 0, 


(4.1.40) 
B eT a ' 
|s,- Sa [oxp(4, & (S0) B01) 
xp(4* $ a a )i—> 0, (4.1.41) 


H3 4.1.4 (8 50 

18-8 > 0, 
E ROMER (4.1.4). 
im (4.1.27) 0 


[ly ena (SO, Joes J>e]c/ Tia, 
Ee[ op i a)], 
由 于 e, 所 以 Va exp( —b > a; )——» 0 对 4221 一 致 ,或 


[Soi 


> (by) 


者 fu Dal 3 aj oN 6S MAAAR 
(4.1.11) MER e>0 就 有 
sup B( Joousal*Z p PAA noteirte e] E 0, (4.1.42) 


所 以 
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H — fo 2 
2- E( di, it ^ à; (Zo) Opi] IpnoQü2-0vrz ( E Cy) ee ) 
1 2 < | Z | 2 ™ 
SN | ' =i ?| E co | In ET lain d. 


EFE 4.1.2 sk (4.1.21) (4.1.42) 90, ER 4 no 超 于 0 
所 以 据 引 理 4.1.1, 3€4 100 (4.1.80) p. SE RT E 

理 的 证 明 ， Li 
H4. 1.1 在 定理 4.1.1 的 条 忻 下 , WEERA n 


147» az", 并 且 lim log (anna) — te, 那么 可 证 当 noo af, (— Fa 
os tan) BRE AERE, Zs) EA, 
这 里 (区 是 平稳 高 斯 马 氏 过 程 , 满足 下 面 的 随 宙 微分 方程 

dZ,- AZ AES OS do, (4.1.48) 


Uni, 


o, D 维 标准 Wiener 过 程 , So? 是 So 的 平方 根 阵 ， 证 明 方法 和 
文献 [7 中 的 定理 6.3 的 证 法 类 似 
推论 4.1.1 由 式 (4.1.26) 和 (4.1.6), 类似 地 可 有 


a (eat Psa), 
Vai<m<n, (4.1.44) 
58 (4.1.27) 4 Paim s 一 -> 0, 由 式 (4.1.24), 引 理 4.1.2 及 
RODD ENEMIES 1.28), BHE 
> Wn, m Vii -— 0, Vm. lemen, 
所 以 从 定理 4.1.1 5, "m mui, 
Biba ES tier > NO, S). (13.45) 


misce DE e Shp 
Ja Parton A Br, = n=l, iti 


$4.2 "EJEE RM 算法 的 渐 近 正 态 性 
现在 我 们 来 讨论 由 式 (3.1.3)、C3.1. 和 9 给 出 的 os 的 渐 近 正 态 


88 ES SLE ur WEBS E TR 54x 


性 , 我 们 先 引 出 要 用 的 条 件 : 
À4.2.0 RoR iy Bae A EEA RR LAA, HE 
M sw RI, 
|h(2) — H (s—2?) | «elo —a^177^, (4.2.1) 


o>0, BE (0, NAM, H+ Sol ABER «ME XLT 


À 4.2.1, 
À 4.2.1 1a. i LE ELT AR FEL 0.770, 0,0, pà G=, Bret 


—a,—a«z0, 并 对 某 7, 0 <q > Rt «oo. 


À 4.2.2 B = 6n t Vh e= E Oron, r00, 
MN (4.2.9) 
Ppp m OCN An) Gide, 
[o FARZI] AMER S1.9)~ (4.1.11), 
À 4.2.3 存在 二 次 连续 可 微 RRA e(0, HWE 
dy> 3170, 
sup  A*(m)v,(2) <0. (4.2.8) 


Aia - ces da 
还 设 存在 常数 oo， 使 Latine, o(o")# inf vlo), at E XL dE R 
(3.1.4)R. 
x1::4.9.1 g A 4.2.0—A 4.2.8 成 立 2, HE (3.1.8), 
(3.1.4) £818, 那么 


Da — 2° 
/ a, 
oxi P F F lis 
s=| ori tS og Tor sigs (4,9.5) 
D i=0 i-o 


> N (0, 8), (4.2.4) 


， d "- 


1 
n> 28>——, 4.2.8 
1-972287 Ir ( ) 


那么 2-287» 1e, HIM A 4.2.1 RI, S att c aoo, h 
Be RC OC B 1.2.8 Ag, 
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Ot "541-7 LOO 6.8., Vj—0, 1, -, m, 
所 以 
I ay uim P e mma 


Tr nea 
-A 0:2: a —Ó 1—J4 «Oo B, B. 了 


mst (3.2.5) fx. RAFEL, MU eo Vana aT 
rim ol@), TR, 由 于 已 要 求 H+ Sol 稳定 ， 所 以 H+ dal di 
pass XH, 全 部 AB.2.0+A8.2.9 成 立 ， 据 定理 3.2.1, Yn 


一 co 时 ， 
| 有 一 加 | 一 of a.8., 
Mh (4.2.1), 当 290 时 ， 
Jaian — H (m-a |<ela,—2°|**4 
=o (aD) <o(/ ty) a. B. (4.2.7) 
从 定理 8.2.1, FERE EM BREUIE EE N<, as, i 
gn 二 Ow Yr>N, JP ELXI— I n>N, RGL OTARRE ERE 
说 , 对 nw 之 以 ,算法 (8.1.4) 成 了 RM 算法 
pi Dm FET) Yn N (4.2.8) 
或 
Drei 8 — (I 2-8, H) (En at) H Gn (h (m4) — HD, —2)) 
FG (651-941), RN, (4.2.9) 
dd yf h(a) — Ho 72) vui, BA m 2.7) R (4.2.2) 
[578 vpo n)a. 8.; 式 (4.2.9) 就 改写 成 
Dayi 2 = (Ica, H) (2,27) ent tents), VW, 
(4.2.10) 
Hh (4.1.24) Ag 
LEUTE M g’ 


a VB = (i+, Ay) 7 4S (Enpi +H Vy 1); nN, 


(4.2.11) 


90 PAP LG ME te FG 4H 


A= He al += a,0H Eola (F-+6,H) 
1 


—> 4BH+ >a, (4.2.12) 
BAR 中 的 任 一 Borel $, 那么 对 任 一 正 整 数 m, 


lim P ana €#)- tint >| ae € B,m«N) 


foro 


+P(A — € B, mx) 
= lim lim P moe € B, m>N), (4.2.18) 
ERS 
lim lim P (77. - EB, m«N «lim P(m<N) -0, 


ABA m (4.2. iR 1.26) BY AF-S AI 
lim lim P NA CB, m>N ) 

— g? 
= lim lim P C a. 


ses oo 


n—l1 6i 
VS is Tq (Oust res) EB, m N), 


(4.2.14) 
BT 
. Be, — 2 
lim lim P (CE EV 
n—1 
a, 

十 e. Viet Van, s 十 via) C B, m= N) 
«lim P(m« N) —0, 


Br ELMAR G.2.14) 4 
lim lim P( 77 — "CR. mN) 


fice mnc 
Den, — oo” 


— lim Pantin Gm 


n=] a 
十 他 Yaar st Van (6,43 - 9541) EB), (4,2,15) 
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推论 4.1.1 中 已 指出 


n 


" m > a. S d ya 0as 
nt—1lim a. ho . = Pam ott T Pell los a. "3 


Br LA st (4.2.19). (4.2.15) f 


Da — a 


lim P(^77-€ B) 
—lim PCs Pais a — ei € BJ, 
再 由 推论 4.1.1 全 得 出 定理 结论 ， 口 
Hit 4.21 设 了 为 1xi1 阵 ， 我 们 在 算法 中 用 GD 来 取代 
Gn, 也 就 是 考察 | 


n=l 
T= 2. Ire ca Dumt >M oalr g-— 0, (4.2 .16) 
quii = (mora, Dy, 1) Ip rd da URL Hun 
AR Dus, en Did Meu (4 2 17) 


这 相当 于 用 Dr KBR yoo TE DAC HERR AC), Ds 
来 取代 &， 这 时 我 们 把 条 件 À 4.2.0 收成 
A4.2.0 RoR 的 回归 函数 OEE-ARRLAR, 4 


ooo! 时 , 0 (4.2.1) GL 并 且 DH +5 ol BR. 
这 个 条 件 和 A 4.2.0 相 比 , 唯一 的 差别 是 把 HE oT 稳定 
改 成 了 DH + ol 稳定 .那么 根据 定理 4.2.1, EREA 4.2.0, 


A4.2.1~A 4.2.8 F, HE HE (4.2.16). (4.2.77) HE oa 渐 近 
IEA, BD 
n=" _*. N(0, 85), (4.2.18) 


Br, > Do 
85 -| g PHF)! pppre F429)! de, (4.2.19) 
这 里 简 记 
P= SOS Xo. (4.2.20) 


92 BREL IE ED A Ee IR ma. 


$4.3 渐 近 有 效 性 
在 推论 4.2.1 中 我 们 看 到 , 算法 中 把 a 换 成 aD 后 ， 估 计 误 


出 — m 


x UE ES 依赖 于 D， 我 们 希望 8 尽 可 能 小 


下 面 就 来 讨论 , 4DRTAEM, Sikh ULBDSEIE UR UR 
效 性 . 


定理 &.3.1 & DH + 3 al 稳定 的 条 件 下 o0 HR 


(4.2.19) ŽKK Sp 达 最 小 的 DD= 一 w 吾 -1 这 时 
min Sp =s HPH, (4.3.1) 


这 里 H- AIT. 
证 明 A DH +S al WHE, 对 ( DH aL Sy 求 分 部 
积分 知 ， 


( DH al js 
ZINC DPpu rr ta)! 
0 


T T" i- 1 a 
=- DPD S» ( ED +7 T), 
这 就 是 说 , So 满足 代数 方程 
(DH+3 al ) Sp+ So( H"D'+ al )+DPD*=0, 
(4.3.2) 
WF DH+ al BE, «0, BU DH 至 少 非 退 化 ， 所 以 式 
(4.3.2) 等 价 于 
aD- -7 -1 可 aD" 
或 者 


(+ JD )so( EL Vad) 


$4.3 E LN Ax 03 


-l HSpH*+P=0, 


那么 
S» ca (Ie aD Js. (T —-aD-)eP]H- 
cal PH Y, 
HES D-— —aH7 HARRER, 口 


注 4.3.1 当 w~0 时, DARE. x 
Sp= [e ‘DPD oP tag 
ER D= -eH s>0, 那么 
Sp- | e" HX PH-*ü- $. H3PH-* —> 0, 
Ü 2 er} 

这 时 Sp 的 极 小 值 达 不 到 . 

法 4.8.2 最 常用 的 步 长 因子 mw 一 全 ，a>0， 这 时 一 人 十- 
-*-l pam 4.3.1, 最 优 的 NOME 那么 


D=> H- Dya — d NÍ m (m, — a) 
NISUS YER T2 a (— H7), 这 时 Ja Se 


的 浙 近 协 方差 阵 为 HPH, 所 以 Vn (o, 20) BL MEE Bb 
ERA HPH”, 
下 面 考察 6, 一 这 一 最 常用 的 步 长 基 子 ，a 一 1 最 优 的 DY 


-H khi Vn (ena) > 入 (0， 及 -1P 玉 -7), 浙 近 协 方差 阵 达 
到 下 界 及 APH-". 

BT ACOAR AUS BUB BURG 所 以 HO 是 未 知 阵 ， 因 此 D- 
- H^ 不 能 在 实际 的 随机 址 近 算 法 中 应 用 . 

注意 到 H =h), PARERS EKS H 如 ,作为 
对 互 的 估计 , E- st RRA D, Ua (3.1.8), (3:1. 4) 


用 Papi ~ Ba A Yal Æ 联 [X ana Ont or 这 样 的 算法 
Ay i£ Tre PES, FEA RA ZEE. T UE 


94 FALE Vr METERS AS I 4 


Vn (2, — 2°) HS BT 2E PERS RIA F A PHL 

设 一 个 线性 递 推 估计 给 出 对 办 的 估计 为 m， 如 果 Va (2, 一 
a) 一 -> NCO, 80, S - HIPH, 那么 我 们 称 o, 是 对 四 的 渐 过 
A Att. 

下 面 我 们 不 采用 对 及 的 估计 , 面 用 其 它 办 法 使 协 方差 降 达 到 
TR 瑟 -:PH-"， 并 且 比 适应 性 随机 到 过 所 用 的 条 件 有 实质 性 减 
Wh 这 个 方法 就 是 文献 [77, 82] 中 提出 的 慢 衰 减 增 益 序 列 加 平均 
的 方法 ， 后 来 在 文献 [24, 25，95，96] 中 对 噪声 和 回归 函数 的 条 
件 得 到 进一步 减弱 

ERATE, M ac B, RIIE (o ERAAN, AM 


HERM NARS HH a R E 
均 , 得 到 


- 14 
B. am, (4.8.8) 


下 面 来 研究 Vn (3, 一 2*) 的 渐 近 正 态 性 ， 将 证 明 x. 是 渐 近 有 效 
的 ， 先 列 出 要 用 的 条 件 ， 
A4.3.0 ROR NHRABRAOAE-AFRLA FH, J} 
HAEBREHR H H y>0, BE (0, 1), 
lal) H (a-t) |<e,|a—2°|/**4, 
Yat fa, la—a2®|<y}. (4.8.4) 
À4.8.1 G0, a0, a, IEW, 
> 0, (4.3.5) 


+1 —1 
to — &. 
nel n y> 00 


HEHH 8€ (0, £), 


144 
a 


> «co, (4.3.6) 
{=1 


$ 
À 4.3.2 8; = ĝi Tr, (4.3.7) 


202 So N(, P) (4.8.8) 


641-70, NP? 
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Eja «oo, $ | Eeer cos, (4.8.9) 
€, ARKET i HAR, 
E |n = O(o1*^, (4.3.10) 
8 AI (4.3.6) F Ay ô 相同 . 
A 4.3.3 fffp H'O-R Bg — xk SER IA OE XC O, CHER 
daz 470, sup , h*'(am)wL(m;-0, 还 设 存 在 常数 cs fit || 2" | 
es, Vla) inf v(2), 好 的 定义 在 式 人 1. 工 .4 中 ， 


4.3.3 从 式 (4.3.6) 知 ， 


El Ji =a), 
ELT a, 非 增 , 所 以 
mon), u= e(q.1) (4.3.11) 


$43.4 MRe— Opry, {om Fp HWER (41-9) ~ 
(4.1.11) ff] RSS yl 那么 用 引 理 4.1.1 xE 
Ve NCO, P), 
n i=l po 
Pak (4.2. 208, 也 就 是 说 式 (4.3. 如 中 的 第 二 个 要 求 满足 ， 
E eae qme iE X 1.2.4 1 
Se= SX O, ox o o (VR log?" n) as, Vez, 
fist (4.3.11) AA (4.3.80 dg 8S —^ 1 XXE ML RR, AP. f 


(4.3.9) 5 FR SF. 
x38 4.8.9 idt 4 PE A 4,8.0— ALS SMe, m HAA 


(8.1.8), (8.1.4) dili, i32, — S os, WA m, MAR, B 
Ji Goa?) > NO, 8), S2 HPH, 
在 证 明定 理 之 前 , RTL RE ERE MEN ROUGE. w 的 一 些 性 质 
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和 式 (3.2.10) 一 样 类 似 地 , id 
Pu-i (I-+aH), nj, Gj41=1, (4.8.12) 
DASA (3.2.11) 4 
[Pns] «co exp(—03} au), Vmz5j, Vjz0, (4.3.18) 
id 
Gay 2,1 )0 7H 3, ,. (4.8.14) 
3138 4.3.2 0H o (DERS j— oo BEST OMS, 那么 
A «exp(o(1) 31a. ), Vamj,Viml (48.5) 
2) G, 对 m Xj —3U8 95 3E B. 
EG. 0. (4.8.18) 
证 明 JA (4.3.5) AI 
gical toli) a, o(1) —» 0, 


所 以 


^r (b. O1 


-—  —] + 


By 0j41 Gn 


n—i #—1 
= TI 10a) «TI e» 
X3 bj 


— expl o(1) Sa) 


因为 2,0, 由 上 式 即 得 式 (4.3.15)， 
JK sk (4.8.11) 9p il, na, —> co, 所 以 对 任 一 se>0, 我 们 有 


t, 
Pw d Do $ Roo PO (4.3.17) 
1 " 
1 X 9.4 


« 1 CST "n ) H 
n f * tahi H cooxp( -0 $ia} 0, 


84.3 NE IIGES E | 07 
注意 到 式 (4.3.17)， 恒 知 当 noo AR oO, bXEPRTO, Br 
WER (4.9.16), 只 要 证 明 Sas a) Gry XE n X — € 
AR, 并 且 

= (1a) G1, 20. (4.3.18) 


注意 到 对 任何 和 >>0, Xt (4.3.11) 4 8:8 Saco, RNA 


qt Sh — g7% Um oxp( —A Sa) 


A t= 
=> S(exp(—a Shas) — exp( 一 >a )) 


+ mace, (4.3.19) 


所 以 


«0E. (4.8.80) 
因此 , 由 式 (4.3.5).、 (4.3.13) (4.3.15) «I 
[qs 200. | 
«x Xia) |... 


n i— 1 i—1 
<2 ola) 09 exp( -c5 a.) 


98 | E DLE c PS Pa Vr pb DR AH 
a 4-1 EET 
=0(1) Ba 23a. exp( =- Say) 
<o(i) (28.4.5 Sat), 
这 里 oD ARS jroo HOT OR. 
AMARA (4.3.18), Ie AAEM T | Èa- a) B- | 


n E j-S385. 口 

下 面 对 式 (3.1.8). (8.1.40 BRB a. 给 出 一 个 表达 式 ， 我 
们 来 定义 一 列 过 程 {og $—1, 2, 及 一 列 停 财 ali), $—1, 2, 
…、， 确 切 地 说 , 设 


n 
an= Do tT au, Vnz90, yi =A) 86, 


(4.8.21) 
minís.éz5eg, loj? lou 
a 0, “=l (i: iao ja | o» (4.3.22) 
oo, 如 果 sap] a; |< Mo, 
BR yi yu, Ve<ay, 
然后 定义 
ett =g" +2 Guitar. aj: Nnz20, 
yi e (4) "esas 4€ [oa 09), (4.8.23) 
min(íi.$7-0;, la |> 1}, 
m=] ( is lo >M} (4.8.24) 
co, WIR sup] at? | « M, 
递 推 地 定义 
Deere + Ign Ten Vnz20, 
yh) Heun E [ms op), 0029) 
indi t>- la| > Mia), 
avi níé o> or la| xi} (4.3.26) 


oo, dn 3 sup [aP Mss 


实际 上 , os 是 a1 以 后 of? REOR HUE IB. M Loi 的 球 的 时 间 , 而 
在 时 间 区 间 [o -:, A, 22 和 式 (3.1.3)、(3.1,4) 定 文 的 w。 相 
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m dum RM 过 程 的 递 推 关 系 相 同 ， 所 以 由 式 (3.1.3)、(3.1.4) 
定义 的 w 可 表达 为 


2- > DE Iu, encod. (4.3.27) 
įm] 


根据 定理 3.1.3, {%,}a. s, 有 界 ， 因 此 存在 取 整 数值 的 in CK 
赖 于 样本 )， f (oc SO 6. $,, OG, 1;— 72 a. B., Br El 


Tri = Da Fannt VRE Ai, (4.3.28) 
ER 
Day D= (I+ a, H) (a, — 29) Fa (h(2,) — H(t, — 2)) 
-FG 8,41, Th Aje (4.3.29) 


或 者 用 式 (4.3.12) 知 


Dy pi = Dy ay, (Xa, — a") T 之 Pa, 44-1088 544 
. {=a 
+ D, sd; (h (ay) — H (2,—2)), Vn, (4.3.30) 
=i, 


对 式 (4.3.4) 中 国定 的 以 及 确定 性 的 no EAR us 
mini jon, [e-e >Y}, 
"lo, FE 1o, 7 2 127, 
在 [ww 过 ne] 上, Ao (4.3.29) T 8 


(Da1 — a) Hop 


(4.3.91) 


n" 
= Parn EN m 29) Iu enel 二 之 D. Ja hye 44. 1J 9, <n] 


+> Dy, jaa; (h (o5) — H (a5 — 2") JE Las, ars Yn2 No, 
(4.3.92) 
Bulb ai TE [ono], FHT RAE TERR Um — 2°] <y TA eA 
为 


o 
C -t Mus T1 Eno] 


Ù 
as QD, TT (ne 一 此 Trsntl, aneno] 


A 
+ Dy rei) TP -n- 1, ay, <#0] 
= Td 
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+ 2 $, 1i; (he (ay) — H (m - 2°) Tips, a em 


^ Lon tias en] Vann, (4.3.88) 
SE 4.3.2 在 定理 4.3.2 的 条 忻 下 ， 
SEI (ones 29 Tunes a, nal? 
对 nn 一 臻 有 界 . 
证 明 — 14 5x (4.3.89) 81 8155 (4.3 19) EAR (E (4.3.4), RMN 
有 
— E( lass — a] Tena a 


< - exp( - 26 È 2a) 


TED X] 
* a; [exp(-e S 3 a) 5, | Be.42¢731| 


e 25 i+1 


"x AA Cs.) 
^^ dj [exp{ e, x m )| a Elie 


+B E( 5 oos |exp( 一 。 3)| 


. a;l 447 PIU I, ene ) 
m +I iath, (4.3.84) 
XH IL, i=l, 2, 8, 和 4 分别 表 示 式 (4.3.34) 右 端庄 式 ， 
By sk (4.3.15) 4 
Ii dei exp(a (1) bi dy — 26 È a), 
这 里 0(1)—> 0, Br no KAKO, Lo n BAO, 


Aco 


HA (4.8.9), (4.3.15) RI no 充分 大 时 ， 


$4.3 «Wr xr xx 101. 


Ij 40% = S ep(- $ > a) 


(no ne 2 xfi 
a [exp(—c 3) a) ] Ies. 
n 一 " 
«Aot > >) GE TEET eei] exp( o 2 on) 
d= feno K=4+1 
<4 502 Sa exp( —e >) a), (4.3.85) 
i=7q R=4+1 


在 式 (4.1.16) 的 推导 中 ， 只 要 把 or mie, FMEA 8 — EUR 


界 . 
Hy (4.3.10), (4.3.18) H, 当 no FED AR, 


estes $ S[oxn(-% 3 a) 


s = 
. [exp( -$ $ D O(a? aii. 
sa 3) a [ox0(-3 31.) 
- Sqexp(— 5 Que) c+ 为 常数 ， (4.3.86) 


与 式 (4.1.16) 一 样 , 类 似 地 知 上 式 对 % 一 致 有 界 ， 
EE, 我 们 对 Da 估计 如 于， 
I, eiei È aj exp( 7e >) ae) 
* > [expl =e 37. a) |B EZ —a" | AAT fias cm) » 


J= 


mA mo 充分 大 时 ， 


tt 


XX Cx) 
< Sali X. ax}, 
而 如 上 所 述 , 它 对 me AE, 所 以 存在 常数 cs, 使 


"n í a — y? 2 
I, oy? 之 exp( 一 P233 a.) o E( 11-8 lr "1 
(4.3.27) 
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Extr (4.3.84) ~ (4.3.9 D DEER ko t 
1 


—— E ( | 8441 ~ m | "Iia atl ap «tJ 
fn41 


28 x EE 
< ot Cg p> à; [exp( o $ m) 
— AU i| 2 
E (Ae Iisi), (4.3.38) 
id 

R 7 1 

名 一 [exp(c 2 a) 二 Ela, — 22 | Zt suu emi), (4.3.89) 
nti 
P41 = Ko OXP (c 2 a), (4.8 .40) 
那么 , Mik (4.3.38) d 


n 
On 19 adl -Fesy?? 之 Bag; 


<pntit hy $ ag), (4.3.41) 
如 为 常数 . 
id f= 3 ag, 


那么 , Mak (4.3.41) 108 
fnri = sagas fut (Lt ny anes) Sn H epus 


nol ntl 
< 之 AG T Ay? ^aj)aqu, (4.3.42) 


这 里 , Meanie TI Athy a) 一 1 
从 式 (4.8.41) (4.3.42) 49 
Basi S agi t hay” 之 wad, [exp( A28 2 as) ap, 
把 7 取得 充分 小 , 使 , | 
— e -- ky? A — £50, 
那么 , 从 式 (4.3.89) (4.3.40) (4.3.42) f 
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1 
—— El (na. — 2") inntian" 
£54 4-1 


< kot boy?" > a, exp( — ks > as), (4.3.43) 
t= i=i+1 


而 上 式 右 端 对 ww 一 致 有 漠 , CE (4.1.16), (4.8.85) PE KE 
Bj. L 
3384.83.98. 在 定理 4.8.2 的 条 件 下 ， 


l.l) Hl oN) —2» 0. a.g (4.3.44) 
mn i D Oc 
证 明 H Kronecker 9[38 1.2.6, 我们 只 要 证 明 , 对 充分 大 的 


S A (0 H (e—a) o a.s., (4.3.45) 
RH 338 4.3.2 知 存在 常数 co 使 
J H (a — 2°) | Zia ena 


<E > EG ela, — 2? I^ I, eas ena 
€. 0g € ED ai "E j 
由 式 (4.3.11) 并 注意 到 078, 从 上 式 知 
E 2 wala ~ H (a — a) HL usen enel 


aa le 
<<“ a p? L (à 220995 «o0, 
=n, ii 2} 


所 以 XT | h(a.) — H (a —a?) To no, 8.8. 
XX e HA 
{Sed BG cpm] 
21 sup lm 一 ?| cy, ono, (4.3.46) 
根据 定理 3.1.8, hs 一 09 上 -一 之 0 a. 9.， 另外 ou<oo as, BU 
对 任 一 s>>0, 只 要 no 充分 大 , 就 有 


104 fet Bit Riera E a LI " 
P( sup jara] «y, au noj 1- e, 
ix Fisk (4.3.46) — HEH 
PS ela) — H (x —a?)1 <co} >I- e, 


REME PLS AA) — Hu - 2?) <o>- s, 


HF e np Eo RUE T 35(4.8.45), 1 
x58 4.9.9 HER 
根据 定理 3.1.3, 9615 (8.1.3), (9.1.09 JU BUB EE, d 
Bim H, P on > N<, a.s., Pre 


Jh G ML 
—0(1) 十 一 一 -= (am, — a) 


"S Qi s(oy— m) 


"Uu ah 0, 15418 j8 441 


+ e 2 Ba hm) 


— H (a, —2?)] +001), (4.3.47) 
由 于 o, $377 o. , 5-04 H0, idis 


所 以 D. =I +S mhinn H9, = H7 +$ hy 
因此 
| 2 238,37 9091, 
+3 Piia —H7*+G.4, (4.3.48) 
HER G. WARES 4.3.1). 
— > OQ, uy (ay —2) 
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y= 


(Ht Gan) (By ~ 0°) ~—> 0 a.8., 
(4.8.49) 
JR (4.3.48) Gnu WARE 我 们 知 D Disa Xt 
及 j 一 致 有 界 , 用 cy 表示 这 个 常数 , REA s (63.4 1 


[S Somala) 80-21 | 


X X Osmala) Hia 
zN doiti 


oe 
Jn 
«A $ AG) — H (a,~ a?) | — 0 a.s., (4.3.50) 
把 式 (4.38.49) (4.3.80 AR (4.3.4), 3E o (4.3.48) EA 
^n (g,— 2°) = += 2 X Bis aide o(l) 


— -1 


SEV A £541 += 3 nse 18541 
+A, (—H--G,uirui-o(D. (4.8.51) 
由 引 理 4.3.1 之 2) 及 式 (4.3.9) 知 
E- È hen i 


" n—i 
« L3 Jannah Dal [Eesaia 


« 96s 3 Ga sel 0, (4.8.52) 


这 里 cs AER Iu ER. 
Jo (4.3.62) 8 


n 
81,4 一 一 > 0 


< 
3 | 
i 


Ti gH G, 的 有 界 性 ， An 


1 A—1 g 9 
at a.9, 
Tn pa nini 2 $ 


斯 以 
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-天 È Gonen — 0, (4 .$ -53) 
EE SIN (4.3.6) RA 
n 1 n 1 i co 
| Bev rl PU 0 ) «eo, 
所 以 用 Kronecker 9] ERAI 
1 |< _ n-i 
E [x H4 GaP 


1 
Mn 


« (H71 +60) —— El vial — 0, 
因此 

È (— HOG ra t0, (4.8.54) 
3855 (4.83.58) (4.3.54) RA BR (4.3.61), i ^n 

n (2, a?) + 2 Š em 0, (4.8.50) 
由 于 = Seni c 0, PAUAR (4.8.56) RR (4.3.8) E 
出 定理 结论 ， m 


第 9 章 


连续 时 间 的 随机 通 近 


RRP ROR ROR A, 要 求 它 的 零点 o. A (a) 
一 0, i LEAR, 现在 讨论 量 测 是 连续 时 间 过 程 的 情形 
yl h(a, ds-F 8 t Yn, 


e, 是 量 测 误差 ， 除 了 Wiener 过程 驱动 的 噪声 外 ， 它 述 包 含 其 它 
“小 2 噪声 ， SEEN ARSE, B eR DRUEBB UL HERR 
的 存在 , 然后 才能 分 析 它 的 收 伍 性 、 FHESER ARE, 而 对 离 
散 时 间 ， 解 的 存在 性 不 成 问题 ， 本 章 的 主要 参考 文献 为 [18 一 34， 
25, 29]. 


85.1 连续 时 间 的 RM 算法 


设 连续 时 间 的 量 测 为 
y=| Alm }ds-+e:-+4:,, (5.1.1) 


a= |. F(2,) dws, 


(A, 多 和 是 Wiener HR, F t. 
io EHAS, RASTIIN HE 


om Gs AY; (5.1.2) 


或 
da, = mh (c) dt-r ol (mp) di, (5 d + 3) 


Ay EAE os 时 , 则 os 当 作 对 o B des 而 式 (5,1,2) 或 (5.1.3) 就 是 
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连续 时 间 的 RM 算法 。 
EBA T FURR. 
A5.1.0 存在 常数 60>0, 合 对 任意 2, yC RS 
lh(o) 一头 的 | EF (0) - F(yol&esle—gd. — (5.1.4) 
AB.L1 a>), 


Fa di—co, ("a ds-<oo, (5.1.5) 
Àb.1.2 {F 9 RE M A XE S r- AE S (w, Fo Ee 
Wiener 过 程 ， 
A5.1.8 对 任意 e>0, 
le otos h(s) (s — 2°) = —a,«0, (5.1.6) 


em 5.1.1 3$A5.1.0—45.1.3 58 Y, 那么 连续 时 间 的 卫 M 
算法 对 任意 初 值 w%, 有 了 唯一 强 解 o, 并 且 


i 一 一 > a 
i0 


证 明 ”首先 条 件 司 .1. 和 保证 了 存在 上 唯一 埠 解 (定理 十 .3.2》， 
对 尾音 670, JH m, FEAR wi 8281 | 
G, = i2, |m- 29] a} (5.1.7) 


&.B.. 


的 时 间 , BB 
tı =inf{t=0,; |2,—2°|<e}, (5.1.8) 
根据 引 理 1.2.3, v, 为 停 时 . 
Wh (6.1.3) In 公式 有 
dle, — 2° ||? = 2 (a, — wo) (aj (a tt a P (m) don,) 
+- of tr Fn) F* (a, di, (5.1.9) 
Kk GO.1.4) 4: UB PC) Poole, E gum ERR 
070, 使 
ir Fa) FT (a) «i| F(o2l*so(1-2-1m—a^|?), 
(5.1.10) 


vm) = (14- |o — a? |!) exp [ef at as], (5.1.11) 


^ 


$5.1 连续 时 间 的 RM Hu i05 
用 Ie 公式 及 (5.1.9) 知 
di, (2x) = — oa? utan) di+ [exp(o | a às)] 
[2 m wh adit a, F(a, day) 
+ ater (OF (a, dé], 
对 is 8 
Eep 9.) 
- (2) EL [ext o) anta ff (exp (o [^ aax)) 
* (2, —a9) "a, hm) dA 
+f ar F (2) F7(®,)exp (c 上 a, di da] E jJ. 
(5.1.12) 


Bx. 1.6) 
(m,—a9)"h(m))-0, Va, va". (6.1.18) 


把 式 (5.1.10) 代 入 式 (5.1.12), JE rr (5.1.18) 
Ei (2% (a) |F a) 


<a (z) +E | l- [oat (a) 
zl [exp (c [ GA du) a, (m, —29) "hm, I said 
e| aiv, CP) d^ | e 


« vm) 一 E22, | [exp(c | azdu) a.i. Ff. 


(5.1.14) 
ia 
b, = 2a, à; exp| o | adp], 
3 zs mx. 1.0)58 
f dada om |. 2am dh m co. (5.1.15) 
Ta a 


MA(5.1.14) RI 
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Blv(o) F) «t () -E([ Iron), 
(5.1.16) 
iu 
us (a) eq. (2) Iss | bn sa GA, (5.1.17) 


MR (5.1.16) BW, 对 testy 
Ea (a) | F 5) 


« Jua) KR Ir 二 E (f baTtws nd |) 
+f b usu dA 
< vem JI prasa] -E f Dad iea» adh F ess 


- EE([ blend! Fajt | blond 


= D), (5.1. 18) 
Bt E(u (a), F OAdEfR ER, FEE BC o EA, 24 (oo 
Hj, us (m)8.8. WE) AAR, 由 于 (0220, 从 式 (5.,1.16) 知 


| DT dio an. B. (5.1.19) 
从 式 (5.1.15) 知 
[7,— c0] c- IN b, Ties eco |, (5.1.20) 
Hi bt RR (5.1.19) m Pir - 9o] 一 0, 或 
Plr.<00]=1, 


这 说 明 , a. 一 定 进 入 球 fo: [z— 216). BLUT eR, 所 以 存在 子 
序列 m, 使 ja 一 四 | 一 >0， 但 从 式 (5.1.16) 及 上 园 收 伍 定 理 知 当 


所 co Bl, a (KARA TRI, HF | alas<co, Kt (5.1.10) 
glx COAT, 但 它 的 子 列 收 化 到 零 ， 所 以 必 有 


|a; — 2 | joo O a, 8, 器 
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定理 5.1.1 的 证 明 方 法 简洁 , [ECL EE eh) B AR dE 
较 强 , 特别 是 条 性 人 6. 工 .4 不 仅 对 光滑 性 提出 了 要 求 , 而 且 还 限制 
T M2) | SR ERE, 不 超过 线性 . 


§5.2 变 界 鹤 昆 随机 逼近 算法 


这 一 节 我 们 来 研究 较 一 般 的 回归 函数 . 
WRH nel RES ayo R FAR, 
MFD — f D IZ usres nae < Ealo — 1? 
T dk CT nd EGG BAR ROR 函数 1") 满足 局 部 
Lipschitz 4% fF, 


BN 
ymo | AG) dates 
" | (5.2.1) 
a], Fn) duy | 7, ds, 
HRAM a EXC et, T), Vt io, T0, 
| | «dT. (5.2.2) 
对 回归 函数 及 量 测 误差 eo 及 在 算法 中 要 用 到 的 增 蔓 HR s, 


引进 以 下 条 性: | 

A5.2.0 |FCOIB#, ACOX FC) BEARS Lipschitz & 
iH, A(a)=0, VoCJ, 

46.2.1 G0, 


l'adteco, | afdi<oo, (5.2.8) 
En Ta 


AD.2.2 s) 存在 二 次 连续 可 微 函 数 O) RR, EREB 
478670 
sup A*(zs)v,(m)«0, (5.2.4) 


dc dir,J 23 
b) e(J)- E RAHE, HR Xd(s, J)>0, DA 
d(v(a), v(J)) 0, RB EREA ly. y - vio), YEEJ}. 
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e) 对 固定 的 入 GE EP, FEXR M, lo <M, ti 
v(a «inf (o(2), la] =M}, (5.2.5) 
并 且 
EDN Coa"), inf va) #8, (56.2.6) 


À 5.2.8 Ft, BES, (wn, 9.9 t Wiener 过 程 。 

WF 适应, 并 且 只 要 当 boo 时 ， iy—*oo, m, Mt dio 就 有 

lim lim sup% f. aj, ds} = 0, VEG [fe 8h, T)], 

(5.2.7) 
A PPA A 2.4.0~A 2.4.3 相 类 似 ， 由 于 我 们 只 要 求 
AC) i EGR Lipschitz 条 件 , 所 以 对 它 的 增长 速度 没有 限制 . 当 
J 是 一 个 单 点 时 , 即 J = 四 ,那么 (7) ER, 所 以 A5.2.2 9 b) 
BRM. 如 果 v(2)—— ——9 co, 那么 A5.2.2 的 6) 中 的 太一 


lz] 
定 存 在 ， 这 时 如 采 v DATTER, WA A5.2.2 的 所 一 定 成 


ates 


现在 来 定义 变 界 截 尾 的 RM 算法， 取 单 调 上 升 的 实数 列 
{Mj}, M1, 33 ico Bj, Myo, 

BAR F CRER Lipschitz 条 件 ， 所 以 下 列 随 机 
微分 方程 从 初始 时 刻 如 起 到 爆炸 时 间 co 存在 唯一 强 解 oS? 《定理 
1.8.3). 


s oae f a, (Am) +m )ds+ f aF (a) dw,, tC [to Fo), 


- (5.2.8) 
ELT R on; 
infit >to |a(2] > Mi}, 
ls mle, Vt zs, 
T OBBEUL JI TE RR ERT A) o. 下 也 有 唯一 强 解 z 人 2 


gi? og «f a (a5?) +92) Tra «1 ds 


二 | PCP) Ius di, 
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=" +f @ dy, EEO, 


类 似 地 定义 停 时 ou 
-| infit ta, Jal MM}, 
” Loo, 如果 lafPpe Ms, Vira, 
这 样 , 我 们 可 以 递 推 地 定义 下 去 ,定义 了 停 时 ov 后, 我们 把 算法 从 o 
开始 ; 以 w* 为 初 什 继 续 下 去 , 也 就 是 在 爆炸 时 间 o A Eoft, 


t 
gi tU gt +f a, (hn 9) +.) Figen ds 


Te 


«f a,F (aff) Legg cy du, 
fs 


=p" il B dys ELC, (5.2.9) 
AR In sE CEST Ob eir 
l | G+) > M = 
041 -| inp fit. tti | af | a“ 702 (5.2 | 10) 
co, WR |a; M uas Vira, 
aft) 的 爆炸 时 间 为 Tip (> O43); 
id 
p= ofl aan. (5.2.11) 
i= 


o, PRD RRM RM 算法 对 AC MER infit. 
3138 5.2.1 v dE [O, o0) bac. AEM, 也 就 是 说 mm — 7? 


d, Goo A.B. 


证 明 由 于 M, 一 -> co, 所 以 当 mzzne Bf, M> La? T. 


定义 
infit, tz-a,, [ofta > M nt, 
mami o, gm Jo? EM Vero, Vizzno—1, 
(5.2.12) 


里 


从 上 面 定义 知 os m os, O11 O41, VEN, 
定义 


114 35 SEN [8 BP Fi 38 E 


了 -1 Fla), nassa 
LQ, Og 558 08 
由 于 os, o5 PASM, 所 以 了 对 多， 适应， 
记 

h= max (ol, fesuplFG)l. 
由 于 


[atrás [otds<o, 


所 以 | a du, «coo a.s., 也 就 是 说 , 当 aco 时 

f a,F, dw, = > N tl (ai) dw, 
Ane 4S ite l X. 

We USER FF HR BE a.s.. 


Vi 218. 


对 ofg [acco], RİTA ac, aoo, Vi, FFA aa- 


一 > 0, sh (5.2.9) RR (5.2.12) Ag 


aj a; iy 
|a" +Í Gha) de +f Ga, ds +Í GE Cal?) dw, | 
1 i Pa | (4.3 


= M ms 
BC S SUF B. 


0< M, — [m* | x À f «ds f” Peau) +f & |n, ds 
Q1 e =i a1 


— 0, 
do 


这 说 明 Pla<o]=0, ME a=% as., 


o 


35.2.2 设 条 件 A5.2.0 A5.2.1 8 A5.2.3 成 立 HE 
定 的 样本 ， Ke i, n=], 2, bé {az} Bg Oh TFSI, FETE FE RX 
6270, o> 0, 470 RNs, EHE TELO, DRIE sC [in 


| elte T)), AB m Nr 就 有 


f ahwa | a. às,| Key, 
|o, — 2, || cel”, 


(5.2.18) 
(5.2.14) 


证 明 在 下 面 的 讨论 中 , 都 针对 引 理 条 件 中 的 加 定 样本 ， 如 
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A8 Fe UCBUR 27. WEEE i, aco, BEA EY Im M, Vi 
io. BT LA 


"m a a (a) ds+| ade, —— (5.2.15) 
04-1 T 


RUE ons || DIE RUE, FR (0.2.18) E (D.2. 14) EE RS 
Tu 0; Oo, vé. id g= lim a. 


REA .2.13) PRE. HNaclz|, *jT-2-", Remy 
何 正 整数 , 必 存 在 En 和 om, E 


in a, hs) d |” a, da, 
jon EL, va, (5.2.17) 

不 失 一 般 性 可 认为 
s mint 1E t> tr, f aA ns) daj, 65 dë, 


»S—1i (5.2.16) 


e— lj 
al, 
(5.2.18) 
都 么 对 任意 8€ [ti Sul, REMABAK, 从 式 (6.2.16) 和 (6.2.17) 
知 


< C, (5.2.19) 


"d a, ho.) ane] e d£; 
hF Meo, Br EL 25 9 充分 天 时 ; Mie, Vario, 所 以 从 式 
(b.2.19) & (B.2.9) 31 0>sm， 也 就 是 说 ， 只 要 mw 充分 大 ， 在 
[tes $9] 区 间 内 不 发 生 截 尾 . 
a mauu | ash (24) ant a, de, SE lt.» sa]. 
(5.2.20) 


M (5.2.19) 81(0.2.20) ih [ol Æ ew $9] 区 间 上 有 界 ， 
BEA k(o,) BERR EAR. 


注意 到 Sm S, 27"), pr a, dg 27^ Gln 0, BEA 


| gs, — 24, l — 9, (5.2.21) 


TR 
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AFA, Ax (5.2.18) & (5.2.20) 4I 


la a, | o 5-181. 


这 和 式 (5.2.21) 矛 盾 ， 这 就 证 明了 式 (5.3.13)， 
设 了 已 充分 大 , xx (5.2.18) 的 oa 有 
20t e| M. 
出 于 对 充分 大 的 
la, |= [al] res, (5.2.22) 
3 4 d 3x (5.2.19) Am EX sE [in sn DIA 
we, +f a. hn.) à f a, de, |< M, (6.2.28) 
因此 aes. T) LTDA TEASE 2B 
ma, tf mhla) dh 十 | a, dé,, Vac Lén EN T3]. 
(5.2.24) 
KRR(5.2.22) E (6.2.29) EMERE i 3G, DIE n 及 
h (m) MER Bin 表示 它们 的 公共 上 界 ; h PF n, 
HF (6.2.7), An aK, 


f ain d» | < tP, Vs€ [tn 8(tr, TY], 


注意 到 | aF@,)du<coa.s., FURR RH 
|f eroe. | «T, Vs [so 2], MAKE (5.2.24) 8h 
有 


[oo 2 f 0, d+ T « (at DT, 


X PRUE RAT xx (0.2.14), E] 

引 理 有 .9.8 BAH AD.2.0——A5.2.8 dor, MES, 53], 
6,«8,, 是 一 个 区 间 ， 并 且 ACL, 891, (702720, SEA 335 0 — 
S: 时 , o (2) AX RT 8676 23 EE Rd, So] ( 即 不 可 能 有 无 穷 多 个 上 ,使 
v(m.) 9, v(2,,) =r, Bs OL v (m) 0s, VIC (5, 83)2, E 
BE X EE 60,0 jala, Viel, s], Va; 
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ii) 3 ôi =ô, HT, v(m AAT RENE Sel 51, E] HE RI. 
HE 8H RE DFX. t, 3x Ai we FF ZE LS, de], de> dy, d [8,, 
93], (43) 270, va) ZG SC EE IB [O:, 02], FH Hm | e, VEE Lis, 
$], Vk, $7 5, —» eo, 
由 于 leel FA, emu ST. AAA 25 Mm: St Exon T. 
用 Taylor 展开 得 
® (Bette, m) — VCP) = (Zsa, m 24) VEE) 
= (Dalir: T) v.s) "Ve (a) 
+ (mus, 2) — @ gh Men (E) (E — 2), 
(5.2.25) 
Hert |i- onler. 4 EEA R zs|«oT, Pru 
It—2|-«2c7T', PÆ lE aler, BU BR 03 使 Imus CE) 
“cg, HE co, 03 者 不 依赖 于 到 
ABR 5.2.2 An, 对 充分 大 的 7 对 sE [5 ss, 72], A 
Aa = Te, +f a, hm) da | a, day, (6.2.26) 
Fe (5.2 264 A 35 (5.2.25) 38 5X (0.2. 14) LS 


出 (sect, rj) —" (2,,) 


« [^ "ari vs (ZA +" a. (hlo) R(E) ) "9 (2) dn 


" f wD adeo (3) +T, 64 为 常数 . (5.2.27) 
Ej az I oa) =s, HBR Sle), v(7))70, 
Ra, J)>0, fe A5.2.2 t a) 
À*(z)w.(r)-— — a0, 
那么 从 式 (5.2.29) 用 LE CO] 的 有 界 性 及 AD.2.9 88 
v(2st,, TI) 一 0B) 


atx, _ _ 
« — aT + aT? +f P ma (h(a) REN v (8) ad 


J-o(7), (5.2.28) 
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ix H oT) v S. 
T-0 


Ba (0.2.14) 5] 
n O mn Aa) AE) ms (2) dA | «o(T), Vh, 
在 式 (6.2.38) 中 把 boo, fa ZEE a’ > 0, 使 


lim sup OC Mt, TH) S01 —- d, (5.2.29) 
另 一 方面 , AR (5.2.1405 
max  |e(m)-—v(a)!-——»0, (5.2.80) 
tyteacln T) T--0 


由 于 tiDn) =i, v(m,) =p, 8i mm) Be, € C, 34), MA 
《5.3.80) 恒 知 对 充分 小 的 T. sh, TO su. GU vno, n) 
C[9, de), xxm (5.2.20 FR. 所 以 i) RR OE. 

H) H dot 有 界 时 , UE SET NS m — z. WA(5.2.25) 


并 一 oo 
~ (6.2.29) jie, 但 据 让 的 反 假设 ， 式 (5.2.29) 的 左 端 收敛 到 
91, Km 4 d AB. [1 
定理 5.%.1 d AD.2.0—A5.2.8 成 立 ， 那 么 由 式 (5.2.11) 
ce SLE Gu A.A. 收 襄 到 J, Rp 
lim A(a,, J) =0, 


证 明 Hat (5.2.5), (6.2.6) HAE AE (oC), inf o(e)), i 


dön oJ) >O, PRE 0279, fit G([G:, 05], 0679) >, 

我 们 来 证 , HA EAE AR XEXE $ fio. 00, E o. KAA 
”次 回 到 o*, 并 穿越 球 (o. lo] — M). iP dat M, BED elo) E 
无 穷 次 穿越 区 间 [8， 92], BI EXE oL boo, # O(a) — O1, 
vb.) = 二 62， 同时 对 #tE [在 ，8x] 还 有 lols. 188138 0.2.8 的 
i) 这 不 可 能 发 生 , 所 以 对 Sou 算法 和 RM EA lo, | RM, 

我 们 来 证 

lim d (v(a), v(J))2-0 as. . (528D 


i 


x ks 


prO DIMIN me nakee 
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i=liminf vs) <lim sup tigo = 15, (5.2.32) 
too 了 一 oo 


如 条 位 一 2a， 据 引 理 5.3.2 f] ii), dtm, 2 一 0， 所 以 式 
(3.2.31) mÁf x. 

MR nce, HARP A+ n, 151, 2 RAT os. ORK 
一 般 性 设 ac vs), MADRE DM e>0, fü 

fate, 244-28] o (7 ) — 255, 
E nten, Ma(0.2.32) 40 ela.) 2593 X BF E EX [8] ne, 
v,—-2e], RESIM 5.2.2 W DAR füE Bp nal), wc 
v(JÀ, TARR AT RE e(mo fI fE— PR ER SX C v(72, Br est (5.2.91) E 
X. 
现在 利用 条 件 A 5.2.9 的 让) 来 证 d(a J) 0 as., 
MR oJ) 一 常数 , 记 作 8, 据 式 (5.2.31) 有 
1) —> 81, 
反 设 存 在 子 列 m, dG,J)0, 那么 式 (6.2.25) ~ (5.2.29) 
HE. 而 它 是 一 个 矛盾 的 不 等 涉 : 
O;OS,—al, 
Br E dm, JM 0 as, 

MRR (E— 2, AB do, J) >0, WA d(a(2), a J))>0. WE 
zu 为 2s ILE COUP IN, 2a o E, RR (5.2.31) M dG, ¥(F)) 
=0, BE I d (a, J) 0, 从 (zu) 的 任意 性 , BM ds, J) 一 >0 as., 

[| 

x 5.2.2 和 和 定理 3.1.2 类 似 , MRO) Æ RR i xx 
duree Joh fMRI, fis) -eonst,eCcJ, 在 定理 
5.2.1 PRO) =f, BEA NER (D 2 40 RI vl) RA -f 02. 


$5.9. Wr Sx xk RE 
EL-i PRAT EAT dx 5.2.11) sg XC BS e WE x 9] AC, 
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的 零点 集 了 ， 这 一 节 中 我 们 来 考察 .为 一 个 单 点 时 的 收敛 速 
RE. 

我 们 要 用 以 下 条 件 . 
A530 |FCODBSS fsup |F), ACOR FC) WE 
局 部 Lipschitz ff, h(a) —0, HEFER EM H f 
h(a) =H (a—a?) +8), df) =0, 
oe it, 3(a)=e(le—-2°|), 
A Db.23.1 Mae TER Bai PS la} 满足 以 下 条 件 : o 非 增 ， 
0770, a, > 0, iz df=, f; 80 de<co, 5=0, 


并 且 


(5.3.1) 


qm (ar! az?) —> a0, t>s, (5.3.2) 


(各 果 a 一 二 , 则 a=1, d€ |o, 2.)). 


A5.3.3 存在 二 次 连续 可 微 RR RR) 使 对 任意 do 
d 07H 
h* (a) v,(2) <0, (5.3.3) 


su 
还 设 存在 常数 M>0, la'l <M, fk v(a") + inf o(a), 
A B.3.8 Ft AER, (wn FAT 8E Wiener 过 程 1 和 
F EN, m =e (ap a.s., 
TE .3S. 1I i$ ADS.3.0~A5.3.3 Ri, HA H -+l BR 
定 阵 , BBA Ha (5.2.11) Ab AY e; ELS ERE MC CSI a. 
jaa =o) 2.8. (5.3.4) 
证 明 ”由 式 (6.3.2) 知 


GO; — € 3 


a, 
所 以 
da; = — aay dt+a(1) ai dé, (5.3.5) 
由 于 定理 5.2. 工 的 条 件 满 足 , 所 以 ao, 并 且 存 在 do, BM E> 
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das = ah (me) di + os dE, (5.3.6) 

不 失 一 般 狂 可 认为 办 一 0, 即 or —> 0 a.s. i 
似 邮 可 把 6(2) FR ô Ca = Dam, Dy =S (a) ， em cd L0. 

Zia. (5.38.7) 


从 式 (6.3.5) 和 (65.3.6) 得 
dz, = GO, di--o (1) OH dt cal -A (opdit gl’ de, 
= mH g di -- a; ^ day, (5.3.8) 
这 里 
H,= H -Fabl --o(1).—9 H+0al. (5.3.9) 
用 ®,, 5, Ps He Fis ER BE E, 
ds := GD ay D= T, to) (6.3.10) 


dz 
£ Y=, H HIF ,, U^. =f, (5.3.11) 

容易 验证 
Pis = exp CHD ma 和 |， (5.3.12) 


由 于 He 稳定 , 所 以 


[Erel S eo exp (-ef ada), €9270, 0220, Vis ed, 
(5.3.13) 
id 
F 
fusmexp (c | aa) 可 (5.3.14) 


JR (5.3.10) ~ (5.3.13) BA 


a D, s= a HH +031) ®,,,+0,(Hi—H —odI)®,, 5, 


Dt, LU, +f Pao CH, H — a1), da 
(5.3.15) 
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7 
[Bs i eexp (~o | ad’) 
g 


«fiel Ce fita] ci este 


所 以 Fo+| oN afiedd, 
用 Bellman-Grownwall 不 等 式 知 
fus<oexp(| o(1)a, da), 
因此 Io, Aces exp (o(L) -e)a dA), 
这 里 ol1) 0. BREW HE >O, cs>0， 使 
I®,,,|<c.exp (~es [ asda), (5.3.16) 


ASK (5.3.8) 8D] 225,7, 
gt = Pintu 十 | Piata ds, 


-Be uu |. Douai CP o) du, en di), 
t 
In dee exp( eJ, adi) teni 
1 i 
+e, f [exp( - Co | 4,4) | a,a( 1) ds 
+f D: al F (2,) dun, (5.3.17) 
上 式 右 端 第 一 项 , 当 too MBF OO, 记 
gts -| By dA, 


WAH (5.3.17) dS SU 
ĉi |exp (- C» fi e di Jl f. |exp (es f Bs, 23 a,0(1)ds 


= ei exp(— cages) | f exp (eagan) | o(1)dg,n 


iod EK SX LE E 125 


t 
= [oxp(—eagen)] |, 0 (1) dexp(eags, fs) 5 > 0. 


(5.8.18) 
由 于 


f a20-9 | P (gm) ?ds f? f a1-9 ds co, 
fa i1 
所 以 
Gi, -| aL (s) du, —> eaf a7 F (2,) dw, 


ceo s. (5.3.19) 
因此 对 式 (5.3.17) 的 最 后 一 项 合计 如 下 


i 
Dae | Do, 50) °F (at) dau, 
=, ,| BAG, ,— 8, s | Dot H G, ds 
i fa 


t 
—G, — G T 0, G Pio | Do, ds HG — G)ds, 


(5.3.20) 

#790(5.3.16) 8I(5.3.190 4 ER ee er — ah, H i539 

HAFO Br5R(D.3.€ 0 40 H, 有 和 界 ， 注 意 到 式 (6.3.16) 便 条 在 在 
常数 ca O fk 


|| De aG, - G)de| 
< ea f exp (- c fanaa) el G,— G || ds 
= [exp( —ege i) des | expCegs s) Gs Gag 
= fexp(— egi.) | 185 Gd exp legan). 


Hot (5.3.19) & I. a, 0A co, [EAT ERA HY co 时 趋 于 


0, Bi EAR (5.3.20) Gwe too 时 趋 于 0， 这 说 明 式 (5.3.17) 右 
端 诸 项 当 ico 时 都 趋 于 0, 从 Z. 的 定义 (5.83.7), 合 知 式 (5.3.4) 
W, C 
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39.4. 渐 近 正 态 性 
这 一 节 仍 讨论 A ARTE ORB. 我 们 来 讨论 由 
式 (6.2,11) 给 出 的 o 的 渐 近 正 态 性 ， 确 切 地 说 ， 我们 将 证 明 


ai 3 (m, — 26) 4 i200 时 , 趋 于 一 个 正太 分布 
我 们 要 用 以 下 条 件 . 
A 5.4.0 [F(-)|AR, Soup iF (a) LAC) R FC) RI 


部 Lipschitz 4&4, h(a) =0, 34 oa Bt 
hw) — A (e— a9) Es klar 29|1*5, (5.4.1) 


>0 为 常数 , BE (0, 如 也 是 常数 。 H+ ol 为 稳定 阵 ，w 的 定 
X It, A5.4,1, 
A541 mm 满 足以 下 条 性 ， a>0, a —> 0, | a di = eo, 


o, BA Ha, 
1. 


-1. 4-1 
FER FE mi 
B | 145 
ONS rtg] "s dicos, 


AD.4.2 FEIK H MA RR X90, 使 对 任意 

A> 470 
oot ne eee, À* (ado (m) <6, (5.4.3) 

还 设 存 在 常数 MO, |a |<, Hv") < int v(a), 

AB.4.8. FA, HES, (wo, FO T HE Wiener 过 程 , 和 和 
F 适应 , hol a, )8.8., 

z35.4.1 i44: A 0.4.07 A 5.4.9 pr m B (D.2.10) 
& ub. 那么 


_ +... (m-a) N(0, 8), (5.4.4) 
af a {— 
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s-[ exp (H+ 5!) i] Lae (a) Br (af 


mra enne (6.4.15) 
证 明 由 于 1 一 awa , Fr LA np 3 ô, d 
1—9282-L. (5.4.6) 


1+ 
所 以 2—287 14-0, RH AG.3.1 um 5.3.1 所 要 求 的 
RER 从 而 
a, — a? =0(a?), 
ASK (0.4.1 AIG 1o 时 ， 
lA Coo) -H (2 —a?*) | «o(ai?*^5, 81-8) > 1 
(6.4.7) 
it 


E= (2 a), (5.4.8) 


AL 
KR (5.8.8),. (6.3.6) fn (B.A.T) 9E UE HH mol a.) 
得 . Xj $291 70, 
df 37 ( Lag? dt--o(1) a? di) (a, - 2°) 


1 
-+ à, * (ah (2) dt a, dej) 


= &£, dt--o(lD)a£ ditta HE dt 


tota 5 adtto Dadir A à F (am) du 
-(H+2 I--o(1)) aif dt +0(1)a; di 

+a; F (a9) dwt A/ a, CF (a — F(a") dw, 
— H a£ dt+oDadit+v a F (a?) dw 

A a (F(a) — F (22)) dwn (5.4.9) 


126 连续 时 间 的 随机 逼近 5E 
这 里 A, 是 确定 性 阵 ， 
_ a a 
H= (5-2 1+0) — H+ŽI (5.4.10) 


fex (5.3.9) PR 5-2, 由 于 已 候 定 五 十 与 了 稳定, 所 以 式 


(5.3.10) ~ (5.3.16) 仍 成 立 . 
Wak (5.4.9) AIX tt. >a, 


f= Pinbnt |, d. o (1)a, ds f Dne a, Fdw, 
fa i1 
+f Bes a, CP (6) — F(a )) dey. (5.4.11) 
fy 


Ht (5.3.16) 30 Esha 467 325 299 Bf, BF 0, 而 第 二 . 
项 小 于 等 于 


i 
e | exp [-«| adh |o (1) a, ds, 


我 们 在 式 (5.3.18) 中 已 证 这 个 量 当 >oo 时 趋 于 0， 对 式 
(5.4.11) 右 端 最 后 一 项 取 二 阶 矩 , 并 注意 到 ©. 是 确定 性 阵 , 用 控 
tit cs x8 Sc E|F (a) 一 五 C29) 一 001) ,我们 就 得 


gf. Brav 6, CF (as) — F(a?) de’ i 


mtr [ ©, a BI cn Pos) — FC") ) (FQ) 
—F (a) ) TDi, ds, 
:| 1, a0 (1) Br as 
T 


«ici fT exp (- 262 f Bs, an) | a,0 (1) ds oe 0, 
这 里 加 表示 确定 性 前 初始 时 间 ， 而 do, 恢 赖 于 样本 .。 所 以 式 
(5.4.11) ARTUR MR BO, WA AM, Ow 
F' (25) dao, 的 极限 分 布 相 同 , 我 们 只 要 证 明 
F Des V a, P(a®)du,—> NO, 8), (5.4.12) 


Ll 


¥ 


$9.4 #7 iT IE AS E 127 


EDT Pis EMEEK, REL Fx ze AR IE ASAE, Hy {Bf 47 0, 
Bh Jj 2x MAH 
8,2 | ,Bi so F(a) Pr (a) BE, ds, (6.4.19) 


为 证 定理 , 我 们 只 要 证 明 S. 8. 
从 式 (5.3.18)、(5.3.]5)、(5.3.16) 知 (3 一 子 】 


Id. - vul 00 [exs(- ef Oy dw) &,0 (1) c; dA, 
这 里 o(1.—3 0. MER 0270, 可 取 s 充分 大 , 使 do (D) «e, VA 
=s, Br EAM, ERA (5.3.18) SUMMA 


19, Prl =o [exp (— egra) ] | o dexp (eg...) 


$ 
« ECL [exp — eg, )] | dexp lega.) < EL, Vise, 
所 以 对 ties 一 致 地 有 
(Bia Fy, l| —> 0, (0.4.14) 


goo 


这 样 , 我 们 由 式 (5.3.19)、(5.3.16) 和 (5.4.14) 就 可 得 . 
ls, z f V, n Fw) FT) PE, ds 


G | | V; a, F (29) FT (99) (8, Fra) asl 


< f?ei f o (1) a, exp | 一 ez f anda |ds+ f? M o(La, 


. exp| -| ad^ | ds, 
JR (5.3.18) MERAY tco IN RTO. 所 以 为 证 ses, 我 


NA 38 uE HH 
f V, oP (29) F^ ds — 8, 


仍 用 gc 表示 | as ds 那么 


128 E BERT TRIES ER A a GE E5x 
V. = exp (H+ > 1)g. | 
所 以 ， | 
| «a F (0 ) Pr (eo) V7, da 
=f exp (4-2 1)g..| d(gi a — gi) F (0) FT (a?) 
* exp (H+ S 1) gu. 
= -| axp (a r) TA hag. P (on) F" (a?) 
rl) 
-[^^l exp (H+ 和 I) s] Le Gr Co) 
. exp | (7 +£1)s| da 
由 于 Jiu 90, EVA ps too Bj, 收敛 到 sS. E] 


$5.5 ird t 


ER (5.2.8) (0.2.12) HE TR a, 的 定义 中 ， 用 oD 来 取代 

a, 那么 在 定理 5.4.1 的 条 件 中 , 只 要 把 A+ > TAERA DE -+ 
分工 稳定 , 而 其 他 条 件 不 变 , 定理 0.4.1 的 结论 仍 对 ， 这 时 

" ema) N(0, 85), (5.5.1) 


i-—-e60 


So-| | a (pz r) | pron F(a) D" 
. exp (DH 4-2 Iy J di (5.5.2) 


根据 定理 4.3.1, 34 D- — H^! i, Sp 达到 极 小 , 即 
min $5 =aH -F (o) F" (w) H-T, (5.5.8) 
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3$ a,—17 BY, 那么 从 AS.4.1 中 看 出 ,%==1, 这 时 取 增 益 系 数 
— H-1 


8, = -———, (5.5.4) 
就 有 VT (ma) > NCO, 8), 
S —HAPSP' aH, (5.5.5) 


如 果 对 o^ 的 估计 d BVT (8, 一 00) 一 > NO, 8), S 由 式 
(5.5.5) 给 出 , 那么 称 2, 为 对 中 的 渐 近 有 效 估计 . S 是 极限 分 布 
的 最 小 协 方 差 阵 . 

适应 随机 逼近 的 基本 想法 是 用 对 五 的 估计 互 ;, 来 取代 A, 取 


增益 系数 等 于 -一 一， 但 这 类 算法 为 了 保证 MKAN Hi 


用 的 条 和 件 比 较 苛 刻 ， 而 计算 量 也 比较 大 ， 下 而 我 们 用 连续 时 间 的 
慢 襄 减 增益 加 平均 的 方法 ， 来 达到 最 小 的 浙 近 协 方差 阵 (6.6.5)，. 
JEEE REMH, 并 给 出 它 的 性 质 ， 
WE 070, £€ (0, 00) 24 too 了 时 单调 非 增 地 赵 于 0, 并且 
-一 (era 一 > 0, t8, (5.5.6) 
那么 称 ta} ATER eB. 
我 们 先 给 出 2 A EROR B I. 
fil 1%, a€ (0, 1), 
id 4,=—t-3, RNA 
e _ (s+ Dl 
t— 38 A, 3 
MC As ht, MA 
(s+ 4,)%— 39° d, \* id ad, 
Cp At ag F(t) as ere) 


== ag" 一 一 > 0) 
£—coo "'" 


Mb 4,778 时 , BA 


reget) (GY! 
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< 一 -一 (1+) < (+0) si> 0. 


gi-^ 


B2 æ>, t€ (0, co), FHM to BI Py Buc dcl 
0, WRES 5€ (0, 1), 有 


lim sup - < 1+ gó, (5.6.7) 
f 


ieo Onus) 
GARRET ORR CQ, 1)， 那 么 式 (5.5.6) 成 立 . 
现在 来 证 式 (8.5.6)， 从 式 (3.5.7) 知 , 可取 g'E Cg, 1 
充分 天 时 , MER FE (0, Mi 


a s 1-4-g'8. (5.5.8) 
Q8 
is, Rill eM 3, s t= (14-8,)5, 


ss <= 1+ 9'6,, 


Gy TN 


或 WT (ts) 
Gu" ths S05 ' 


Br VD» DESK (0.6), ASR ta, 3 oo, 
[Ese 8C (0, DR s, i uim WE nA, D 1+ 
(a—1)8)s Bt, st (5.5.8) sb, BARA 


Ln) 


Üc14-t—1)33800LEn828" e(l 十 (% 一 1) 8) M 


Htm = 1-4 n8 
1+(n—1)6 
ad (xo 
1f (n-1)8 14d 8 
l-cón-1? ; 
HNN, no 充分 大 ， p l9 e ‘PARM BA 


1-4-nó 
MEAS 
q's _ 8 
csse a E s dX) see» 


EN. gò ) 
«(1 PME M 4-103 


S iiipin- (14 


«(1-42 1+ = nr X479.) Htiita-139 tt 
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n-1 (p— gd 
RM IH (1- E) Lot nuts. 


因为 $425 — oo 我们 就 有 
mno - {pag 279) — 0, 


于 是 tits ndds 2 Ü 


显然 , 对 和 任 意志 FFE ^ E o € (0, 0) fii £— 14+ (n— 150 o 2)5, 


注意 到 
(1+nd)s— (148 (1+ (n—1)8+a)s, 


i 从 一 加 
1 十 tm 一) 了 十 四 1? 
我 们 就 有 对 cc (0, 508g — S02 Sx. 


te (1+ (n— 1)8 3-232861 - 1346) 
" NG ) 88141535 


Ürirtn- 149-2 


ao) ties @ltndja 
<(1- 2—2 a gs )—>1, 
这 和 Bien oe 0 一 起 就 证 明了 bt oe o. 


338 5.5.1. Ra AER, WA eB UTER. 
i} 1, dnt (5.5.9) 


ü) Bis, o(1) — 9, 那么 
-Z <exp}0 of a.d], (5.5.10) 
i E 


-ijn f Œa dÀ exp fo of anda}, (5.5.11) 
Hi) HER SE (0, 1), 


f a, ds — œ (5.5.12) 
tti-à) i6 " 
证 明 id i 

HiS (5.5.18) 
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从 式 司 .5.6) 类 


by = mto), (5.5.14) 


取 so 充分 大 ， 使 对 ses, o| «e. 在 式 司 .5.14) 中 国定 
so 并 取 i>00, At 充分 大 时 
pa 28, 


这 就 证 明了 式 (5.5.9). 
从 式 (5.5.6) 知 


FN "ac dy 
à -1--o(1) (£- 9)a, 1+0(1) f a fe ar 


=1-+-0 (D l'a. [1+0 (1) f Sr 


,xD fo a f adh, 


这 就 证 明了 式 (5.5.10). 
对 任 一 5E (0, 15, iik (0.0.9) BUR 


f Bs ds | Sd» ds >i | ds 
it1-0 t(1-23) 8 i(1-85 8 


-hlog Ly uio. | = 
设 H 为 稳定 阵 , 用 On RARE 


Fre GHD, ®,,=, ts 20, (5.6.15) 


f dr |an 


nu 
UT 7 oxo zt [adi 
由 于 E 稳定 , 所 以 存在 常数 >>0, e0 (8 
lB. |<cooxp| —e | a.d. (5.5.17) 
5|18 5.6.2. Ut o HORM, HRE, P (5.5.15) 
给 出 , 那么 


(5.5.16) 


a, | 9... dA, 
对 s, £ RAR a EZLo0, HANIEE 2770, 
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i 
EJ a, |, dh ds— > H=, (6.5.18) 
t Š E i—-o2c 
证 明 由 式 (5.8.15) 知 
Bs 1H [ oad, 


Br E m X (5.5.12) & (b.5.17) 98 
f a0, m ~ H+ H7, — H-1, 


(5.5.19) 
记 
Gu |. (a,—2,)0, dA--H-d,., (5.5.20) 
那么 
the f o... da= | (a, — a) Da de |. 6, dA 

= —H-^*--G,.. (5.5.21) 

为 证 引 理 , 只 要 证 明 Gi X1 Os i-coo |L, HA 
| 1G lds = 0. (5.5.22) 


Hy A (0.512) fI(5,5.17) Rl, MP HE— SE (0, 1), 


P teet (ff, an {ef 
t fi 1, elds a t ew) exp {=e E ds 


Co (1-43 i 
< 一 | exp4-— ef ada} ds+ cod 
县 [4 


«AU exp i- c f. a, dA) ds+ eg 


« ed -st exp {~e | ada} 
£ (1~4)t 


teò 0. (5.5.23) 
50 


By LA Dy uS (5.5.22), KEEA 
iff (a, 0) Da dh ds — 0, (5.5.24) 


184 xESE AS [E] Erg ES gla Jr 5 


| 简 记 gs— | andr, 


FUN ss Gako EH s>s A olee, 70, Bx 
(5.5.17) 5] 


[r f.f, =en aaa 
< ff (2t) expl — ep...) 3a dh ds 


=. (fff (Se —1) fexp( — eo...) as di ds, 
(6.5.25) 
由 式 (5.5.10) 知 


> I. | (89) [exp( —094,,) 1a. dÀ ds | 


< [^ ott | ess expC(o (0.9...) dg... di 
<2 f o(1) ES exp(—01g1,4)0 fais da 


一 名 f KONN yex—cydyds-——>0, — (5.5.20) 
在 式 (5.5.25) 中 的 另 一 个 积分 可 估计 如 下 ; 
to | | Caa )expC— cgr.) dads 


ES f (f + fi )a— a) expC- egi, 8 ds 


É Je 


« 7655 [so (8t — 8) + (1— 8)tso exp( —egn.4] 7 0. 
5-0 
(5.5.27) 


st (5.5.25) ~ (5.5.27) —g EB] T 26.65.24), 
在 式 (5.5.26), 我 们 还 证 明了 | (8,20. dA XE 5, i— 
Wa. 1032235,  JAD.D.1T), (5.5.20) fü (D.b.21) G41 Gi, 
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Ras, f Ba dA E tern LAR. Wi O<s<y, 它们 的 有 界 性 
可 从 下 面 的 估计 看 出 ， 


ja. fs, ai 


- ja f" d, dhe a. | d, Ag dA ®,,, 8 


«jf Dae, aal, 3 


下 面 我 们 要 给 出 本 节 的 主要 内 容 ， 为 此 , 我 们 先 引进 条 件 ， 
ABD |POIRR fesuplFGnl, MR FCOWR 


局 部 Lipschitz 4&4F. A(27) —0, 存在 稳定 阵 E 及 实数 y9, BE 
(0, 1i, £70, 使 
[i (2) — A (a—20)] 
kla- etit, Vac {oe. lea—a® |v}. 5.5.28) 
ÀB.5.1 {mw} TEES FAME o<B, a€ (0, 1) 


gita \2 
NI - ) deo, Vez-0, (5.5.29) 


A552 ffi UE S aT PRESE v(-), BOR, 使 
v(a9) —0, v(a) £0, h'(a)o,(a) <0, Vosa, 
(5.5.30) 


s Co 3o a- 
A 


并 且 对 固定 的 o, 存在 常数 性 >>0, Is" M, B 
alan") < int t (a), 


AB.5,8 Fit, HES, (wj 905 L HE Wiener 过 程 , % 和 


F 适应 ， 并 且 
T T 0,  Elml*-O(ai*». (5.5.31) 


AX (5.5.29) 22 AB H 


f, CES) amg (ey, 


B LA 


136 E tt fa ARR ALLE AE 
— 一 路 _ 1 - 1 性 
& —0(t F as TS 9 1 , (5.5.22) 
因此 
[a da co, (5.5.33) 


出 此 可 见 , 当 ÀAB.5.0— AB5.5.3 成立 时, 定理 5,2,1 的 条 忻 全 
部 戌 立 ， 所 以 由 式 .65.2.11) 定 义 的 2, 24 £00 B] 8.6. AES E o^. 
同时 存在 依赖 于 样本 的 io tE aco a.s., E anmo gs, HEA 
d2,=a;h(a,)di+a.de,, Vizeo. (5.5.34) 

T HES (5.6.15), Wat (6.5.34) fi Al 


ay 一 o = d, IN (da, 一 g) + | Ë, T [À (m,) -= H (2, q^) + Nal ds 


+| d, F(m)dw, Vian, (5.5.35) 


HA (5.2.11) X fj a METYE, IRREFERA fo E 
ALBERI it: 
inf {4 £749, [m —a" 1 Y, } 
att 如 果 [2, — 2? 127v. 
gs (5.5.85) 4 
(m oT, cta 


=, :, (mi, — a?) Iunasth] 
&[ Dralha) — HG 729) d dsTusna, t 


(5.5.36) 


+| P, a PF (ox) dw, 了 [me tel Viz to, (5.5.37) 
f. 


B18 5.5.3 BA A 0.5.0—A 5.5.3 pr, RAMEE 
Y—0, 19770, 


1 
ur E( | ay 一 g’ | 3 tas ta, < tl) 
$ 


对 I CHA. 
证 明 MPR. OLD RRS.41, A (5.5.97) Af 


d. E ( au g Iusta etit) 
6t 
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< ee exp (- 2091.2) 
a E (f [exoC - ess. Jasio - ^*^ 
. Tepos.anctar ds) 
+48 E (ff alntoxp{—g..d2) 
Lu i. ([expC— 2eg.] ELF Go) Iron a e d 
(5.5.38) 
把 上 式 右 端的 四 项 分 别 用 Le, iml, …， 4 来 表示 ， 然 后 来 分 


AYE. 
IER (D. 0.10), 2$ to FARNA 


I, 到 .一 一 一 :: m. — BIP (— 2Cgi. <= 


Y oxp( 一 gr 
(5.5.89) 
ER AM RAD CR. 
JR. 5.10) E 3& (B. 6.21) n] AI, 34 如 充分 大 时 , 有 


I,« —2- x r [exp (— egi) at da f [exp (7g) alt ds 


cen. Oe apl- 可 grat de]. a, exp( — egi] ds, 
(5.5.40) 


L«4d max | F (2) I? [exp CC ogra} ands, 
jolayt fs 
(5.5.41) 
BELL Is Be le MRAM t WH. 
JR TE HK f Is, 
I,« Ži | atexpt — eg...) ds 


T [exp (- ogsa) Ez, — 2° fDi sey, <te] d$ 
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t 
«aceti? | a exo (— 5 gs.a)ds | [expt egsa) 
Elo, — MM ans. e101 OS, (5.5.42) 


综合 式 (5.5.38)~(5.8.48)， 可 知 对 充分 大 的 t FERM 
ko>O, ky 0 使 


1 
p E (| P; 一 a” | 3 stai etat) 


«hy loy? | ext ego) Elo, 7 2 Ios, ed 
(5.5.48) 
i 
g= [exp lege0)] E (a= Lussana) (5.5.44) 
aR (5.5.49) 得 
gi: ko exp (09r, o) + hay?” f ang, ds. 
HH Bellman-Gronwall 不 等 式 知 
g. ko oxplegeo] + k; 77^ j. Asko | exp Cege.0) | exp(£,y^^g,,,)ds, 
或 等 价 地 


d. E ( |a. — g? I? Ts anch) 
tbt 


< hot ko ky? ; a,exp(( — et £075) gra) ds, 


(5.5.45) 
取 Y 充分 小 ， rd byte 3]:8£&i6 EL dE nf Hi (5.5.45) 48 
H. " 
alm 6.6.4 1 A 5.0.0 A 5.0.3 成立， 那么 
1 


— fo Ae) -E e- o jds—>0 as, (5.5.46) 


urBB “类似 于 离散 时 间 的 Kronecker 引 理 , RIA TAHR: 
MR HT d7 0, 
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a8)’ Jt d<, 


1 f 1 " 一 1 f d, 
-一 一 一 b,d = 一 一 一 一 da, = 一 一 一 一 一 -一 一 
Vile’ Mi CONT TT Je Bs ds 


= 6 — a> ————-——— Te ds 一 一 > 0, 
Mt vt t00 
所 以 Y TER G.D LMM A0, " 
f; uh B Gs ca |de«eo as, (6.5.47) 
利用 式 (5.5.29) 及 引 理 6.5.9 4m 


E f een) -H (aa?) Ls aen ds 


<f B. E | 2, 一 a” | IFAT uos i te] 
ts 
PEZ 


< kz [= Js th MN ds<icc, 


(5 4 一 a| 2] uisa etel 
a 


这 里 ncm y WOO HD 


J Fah) HG. m Mussasenadieoo aa 
因此 
TE 1 ikea) — HG - 2°) |ds<oo} 
te/ 5 T 3 
>1{, sup |o — a? «Y, ou, to}, (5.5.46) 
据 定 理 5.2.1, P ron e a, B., 注意 到 Uu 45 &.8., 所 以 对 尾 


意 e>0, 只 要 如 充分 大 必 有 
Pi sup la —a"| «y, a, tor 771— e, (5.5.49) 


HA (5.5.48), (5.5.49) 4 
P {f IG) -Er a) fda<oo}>1—e 
(5.5.50) 
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因为 8 任意 , Br py (0.5.50) &t 
F l(a) - H (o — ods<oo a.s., 
XXRLUERH TSIM, L1 


3UEE CLE RE AE ACE A 35 E AR, 
定理 8.5.1 dE ADB.D.0— A 5.5.8 成立 ,wv PL (5.2.11) 给 


IB, Ha, 的 平均 值 


一 1 + 
Hos | s, ds, (5.5.51) 
那么 
VT (Bs) > NO, 8), (5.5.52) 
S = H-P (2°) F° (a) H-*, (5.5.53) 


BB s, 是 对 a? AEA HET. 
证 明 从 式 (6.5.365) 得 


一 ln — 
a= | vds +t oo +5 [ Daaa, dA 
IA 0 t 上 dn è ‘ 


+4 f [aibi Ls) — B Cos 7 2) ds 
--n,ds-- F (2) dw,] dA, 
以 及 
A/ t (2 —2) 
cS ael. [V asc i. 
eat eJ, mde eJ, Duon Dan 
1 1 
+t fi (factns n) no — HG 1 
1 t 
+ JT NI GO, a dA 7, da 
1 
+77 J, etm) Pea 
A 8 
AXI, . (6.5.54) 


这 里 用 I, 表示 Vt 0 a0) Bp Ar EC 0 
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fg E A, i -— 0, 了 一心 acs. 
too Í—oo 
— 5 .10). (5.5. 17) aj . 
Ibi<—— us Para, IND, 


十 


IN De A, exp C — 09an JAA exp( —eg,,a,.); 
s e 


当 io 充分 大 时 , AEREI 


ITol <2 | expl- ogsa dh Las, 


Co : L6 ) E 
i "a I. a,exp( 2 Paste da. exp( CÓ: ax, ) 


—— Û as., (5.5.55) 


fyon 


HR (5.5.20 ASH 0.5.4 UE Gu HAR (8| 88 5.5.2) 
就 有 


IL] «H7 af" e) — HG. 2918s 
+ 并 | 本 as| 
—Ü as., (5.5.58) 


i--e5 


Ti dix (5.6.29). (5.5.81) E. Gi. 的 有 界 性 便 知 


| | i 
Gh aT a." 
Bie d.) ^r dece, 


1 
ef Um | Gren ds —2 0 8.3., 
所 以 =Í Gands 0 4.6.5 
即 
i720 8.8. (5.5.57) 


现在 来 位 Lo, 
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2E BRI [T PO AT SEL m5 


I= -22 1 
emm j, Peddie | Gu Fo) du, 
2. H7 Ha 

uy Few (0°) Wa, 
HU 
E 

1 i 
+ 
I, Gf (a) dew, 

BF a, —> a? n... ARRIBA, 对 任 一 >0， 


E| CF (2,) — F (25)) Tsetse —> 0 
§— co , 


S (F (2,) — F (g) ) dw, 


因此 
1 | jt 
d E| I. CF (m) — F (a?)) Tus -sse dU, 


1 (f 
-l | E| CF (z,) — F(@)) Tis, asi d$ —>0, 


这 表明 对 任 一 o>0, 7 
ef Ee) — E (9) Tas necs dtt O. 
Br AXE EE 870, 
P[|-E- f, E)r du 
<P [|E f Gro FG Terai dee] >e] 
+P [suple 2*1 776]. > 0. (5.5.58) 


C— 00 


类 似 地 , 由 Ghi. AVA ARERR (6.0.22) 1 
P i2. GraF (a de} e 


>a] 


zr [77 f. Gia F (24) Lus duo, > e] 
+P [sup [1776] 720. (5.5.59) 


toa 
go 


WwW Sh 


=F y dus 


€5.5 
Oh otc A xm 
rl 合式 (b . 
, Beh (5.5.54) ~ (6.5.5 p XE Ti 
B Zh .5.59) fg to 4 
,—>0 
vt (tg) = _ fe 十 | | 
JT F (a9)25 t 5i, 


rH | WU JIE H A1 
* l | 2 r ki M. Ld 


第 6 3€ 


系统 参数 合计 


在 系统 辨识 、 道 应 控制 , 离散 事件 系统 、 神 经 元 网 络 以 及 模式 
识别 等 领域 中 , 经 常 需要 分 析 不 周 类 型 递 推 工法 的 收敛 性 , 这 一 章 
我 们 将 应 用 前 几 章 给 出 的 随机 逼近 的 收 伍 性 定理 ， 来 解决 系统 参 
数 估 计 间 题 , 虽然 这 里 只 限于 分 析 有 限 的 几 个 递 推算 法 , 但 从 中 我 
们 可 以 看 到 如 何 应 用 这 些 收 伍 定 理 ， 以 及 应 用 时 的 难点 所 在 这 
一 章 内 容 基 于 参考 文献 [9, 10, 11]. 


$6.1 连续 时 间 动 力 系 统 中 的 参数 估计 


考察 带 参 数 ICO, OCR 的 动力 系统 
0) = fO, 249), m@ER (61.1) 
设 对 任意 终端 时 间 右 ,我 们 可 找到 近似 解 2 (0), E 
l2 0) —2,(80)| «s, VtE [0, t], YOEB, (6.1.2) 
sz, 4 e-OHBj,c (0) RE SERRA, 
RE ORRAPNRESH, 对 系统 的 量 测量 是 


ye | g(a ()) ds (6.1.8) 


e, 是 量 测 咒 声 . 
取 数 列 dr > 0, b> 记 kek, terhis, RER 


(6.1.2), 可 找到 近 亿 解 w0), iE 
[2 — a} (8) | à, VEE [0, $41], VECO, 
(6.1.4) 


$6.1 — T 145 
设 扩 E@ 是 固定 点 ， 取 数列 M, — o, M>0, 类似 于 算法 
(3.1.8), (3.1.4), HERR EIER O°, 
bito (aata |." (i C02))ds), — (6.1.5) 


k—1 
ry, = PL Oo — 0, (6.1.6) 
0 ci LT nes euo TOT oue). (6.1 T) 


记 
haO) = f” Dga CoC) 000214. (6.1.8) 


R611 设 成 立 以 下 条 件 . 

A6.1.1 WHER OC O, WHE .1.1) S EERCEL EUR AER, 
JE Aptis (6.1.2), Ver, gs( 四 对 3 一 致 地 对 6 连续， 对 任 一 
0 的 有 界 集 ACG, 2,14 ALN 2 — RAH 


A 6.1.2 a0, 60, Y aye eo, (6.1.9) 
A6.1.8 ig 
mE, 1) 2 max i» p> atl, Gii = Sha — Bp 
24 On, WE SEES, 要 求 
lim lim sup T Pk Bisi 


Kw 


= 0, VT,C LO, T; 


(6.1.10) 
A6.1.& FE R" >R B Wu Eq vC, 它 满足 以 下 条 
性 
vO =0, v(0) #0, V0 0", (6.1.11) 
存在 常数 co, HNO «eo, 并 且 CO") < Inf 4 的 ,还 对 任意 的 0< 


Ay As, 
sup AIO (B)« —a, a>, (6.1.19) 


A elga da 


4: s (8) ZZ ZR a(@) 的 梯度 ， By f RF A E da, 但 不 依赖 于 n, 
那么 , XN (6.1.10) par BEPEAS, 必 有 
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hs > 9" 
证 明 注意 到 
xsi 
Vee yn f gs (PO) ) ds 


SCELTE 
+{" Lj. (a, Cy) ) — ga Cat (85) j ] dg- Eta Sty 


= hy (Gy) «t [gs (2, (8,5) — Fs (m; (Pr) )1ds-r exei. 
HH (6.1.4) Eg. (OD A] s RF 0 一致 地 连续 , Um 
[gs ess) 9. ot (x)) 1d —> 0, 


ER att, . 
eLa Bf” Ue (0) e G8 09) des 
(6.1.18) 
和 ex; 一 样 地 满足 条 件 A6.1.3. 
He (6.1.0) —- (6.1. 7) Tkek 
0,— 0,-- & C (83) t ekri (6.1.14) 
此 一 二 

oy = 2 Tie ko qo=0, (6.1.18) 
Lk = ÜLlipacunrt OL eg oan. (6.1.16) 


与 定理 3.1.1 所 讨论 的 算法 和 条 件 相 对 照 , 唯一 的 差别 在 于 那 
3B (+) BAI BAS UE AC). RATER T SR (6.1.12) 
n —Sk gt sr, 所 以 引 理 2.4.1 30 (6. Jii sc, 918.1. 1, 3.1.2 
ELA SES 3.1.1 RPE, 所 以 如 一 之 多 » 


FHRNSHAT, A611, A 6.1.8 H A6.1.4 ERE 
X. 
BII ERGI DARRERE 
a(t) = ADDED, (6.1.17) 
日 形 示 方程 的 初 值 , 即 zf0) —8. i3 Pe ARBRE 
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È o= A Bo, O5, I, (6.1.18) 
对 线性 方程 (6.1.1n) 很 容易 求 得 精确 解 
2, (0) = ®,, of, (6.1.19) 
BREA RT LAGER CO. 1.20 tX 8— 0, TEXLCO 1.5) AR m (02 RN 


ak (Ox), 
BER (6.1.3) rpg, (2) =o, BA 


ha 0) =|" ®, 0 @—0) ds, 
ib 5.81, T0, Vic (0, oo), (Pro! 对 f 一 致 有 界 ， 在 一 
IE, deem exp (| A(s)ds), iit. 1 A(s)>0, | AG) ds 


«oo B, 对 D, o 的 要 求全 部 满足 . 所 以 当 D. o Bg Lx B, 
A6.1.1pm y. 


取 
vO) = i— 85, 
那么 
hz (8) (0) = (8° -9)" | Gzds( 2(9 —6)) 
< 254169 —0]2, 
WELL A 6.1.4 3r. 
现在 来 看 满足 A 0.1.9 OE MOR, E Qo Fi) H m HR 
Wiener 这 程 , m; 为 任意 过 程 , 9 "Nd 0, 3 


en f Fdw, | », ds, (6.1.90) 
XH. Taco, (Fn FO NEN, |F| fo, VsC [to 


coo} pf}, 6.1.3 也 得 到 满足 ， 因 为 这 时 
(| F, dw, Faa) 


ea Hal ， 
EA REI, 根据 定理 1.2.3, Da, J. Fdw, «co a.s., 所 以 式 
(6.1.10) sr. 
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Bl 2 考察 一 维 线性 系统 
a(t) <0 A(t) a(t), [^ A@)ae<oo, A(t)>0, 


(6.1.21) 
e (0) #0, 


Egu, dx 0970, s0) 70. 
dX (6.1.5) gp 578 45 AE a5 (0) , TA A RR 


a G) —a(0)exp fo | AG) ask, (6.1.22) 


XX Bj, 
hi) -| (exp (9 f A(s) ds) 
— exp (9 f ACs) ds) d£ w(0), 


& oO) =(exp(0 | 4¢s)as)—exp (0f 46) ds)) ， 
那么 
ve (8), (8) 


--9 N A (s) de | exp (e| A (9ds)] 
enfe f 405) facon) 
{ (exp(# | 4G)ds -ezp(g fq às))4 
ef (exp( f A(s)ds)— oxp(# f Ads) 


+oxp(@ | A(s)ds - oxp(9 [, 4()às) ath, 
(6.1.28) 
当 9—- P= 47-0 时 ， 


(exp (9 L Aa) ds) — oxp( n A(s) ds)) 
>>exp(20 L A(s) às (xp(s Jr AG) as) — i) 


Asle 7-0, 
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注意 到 当 Eoo WY, 35(6.1.23) ti Ji — 4 M fs B) fou 的 积分 趋 
T 0, BRAK (6.1.12) —UIJE AK BI nM. m 9| 38 2.4.1 36 
Pr Eth BORK (6.1.12) — V nz N pr, NATUR RK. Br 
PA se HB 3.1.1 RETA. AE, MERET iar 满足 A6.1.2, E 
测 噪声 满足 A 6.1.8 时 , (6.1.5) ~ (6.1.7) 4818 8 6 —> 的， 


ET $6401 HET PS TRUE HS o f O°, 我 们 也 可 以 用 连续 时 
间 算 法 . 


dO, = e (dy; — geiw ) d$), (6.1.24) 


UL ABIDE RA&ER E G.2.1)- (5.2.11), 
dE 85.2 d HE HAA AC NR rT, mE E i g 
是 时 变 函 数 
A, (8) = g (20) — git (O2), (6.1.20) 
X» TSE 5.2.9 成 立 ， 我 们 用 Lyapunov 函数 的 关键 条 性 
《56.2.4) 来 估计 式 (5.2.27) 右 端的 第 一 项 .对 连续 时 间 算 法 的 时 变 
BR, 把 条 件 (5.2.4) 相 应 地 政 为 下 面条 件 . 
1) 对 任意 0 多 及 常数 6 沁 0， 存在 充分 大 的 # 及 充分 小 的 
T. RE le —6|<cT, BA 
ht(8 ve —a, avd, VsC [i stt, T0], Vie’, 
(6.1.28) 
这 里 (OBA 09) 的 梯度 ,9 TKR OR eT, 05 U ASE, a 
ARH BUT t, 
2) $e A6.1.1 改 成 : 对 任意 COCO, 7r $E (6.1. ONES 3 
HAA 35 LR m (000, 0 00 ERR Lipschitz 条 件 
| hes (84) m Ay (z) | PÍ heten, iðn A] L, | Oy un Gs | 2 Vir’, 
I, 可 依赖 于 nm, 但 不 依赖 于 t+， 在 8 的 任 一 有 界 集 4C9 上, 
ft (ay (85) A Fr. 
还 要 用 到 下 面 两 个 条 件 . 


8) mw>0, | a diee, f a? dt«co, 
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4) ax | FO dos | mds, 


XH (w, Fi Wiener tE, F(-) 满足 局 部 Lipschitz 条 件 ， 
(mo F ) FEMME, 并且 mc 0, 


利用 定理 5.2.1, 我们 有 以 下 结果 . 
Eig 6.1.2? HEE ROR MOK BR), (09) = 
0, «(80) #0 VO 05, 存在 常数 co, E 10 |<co, FFB 
v (8*) < inf v(8), 
设 条 件 1) ~4) 成 立 , E A A EP SE SERRE [8] CTS 2 HR IB] 


6.—> as., 
Í—co 


对 便 工 若 用 连续 时 间 算 法 , 则 
hy (8) = Be — 8), 
24 fno BA, 0,4781, 570, VEC [0, ©), gi) o BI, TIBI 
i38 fp He TER v(8) = O° —01^, FF RUE CO 1.26) p SF, 


HA 2, 有 (90) (exp le | acas] —exp|6[ Ads] sto), 
在 例 2 的 条 件 下 , RI RE UE (6.1.26) RF. 


§6.2 再 访 ODE FR 


我 们 在 第 2 章 中 介绍 了 用 OD 方法 分 析 递 推算 法 的 收敛 性 . 
Ljung 是 在 研究 下 面 的 递 推算 法 时 引进 ODE JEK, 我 们 先 
ik Ljung 所 讨论 的 间 题 . 

E ES AAT wx 递 推 地 给 出 ， 

Erri = Det Qh, mi, $41); (6.2.1) 
Quei 是 -维系 统 状态 ， 
Quei ACD) Pet B (9x) errs, (6.2.2) 
{errr} 是 系统 噪声 ， 初 候 qo, zo ERB, 
记 
D,—isA(») 稳定 }， (6.2.8) 


d 


8 6.2 E ODE 方法 i51 
E De D Jii SR. 
文献 [65] 用 了 三 组 未 同 的 条 件 . RRR PO IH. X 
A1 le,|l«e-«oo, as.Vk, Ee?<ioo, 
A2 QC, 2, OM oC Dg Rok 2M Lipschitz 条 £r, 


Lipschitz RR AMK MT k; 
AS ACOR BC) Ds rp Lipschitz 连续 
A4 定义 | 
Parila) = AO) pu (o) +B (wm) Onis, Polo) —0, Va Ds, 
(6.2.4) 
对 oC Dp 存在 以 下 极限 
lim EQ Ck, ©, PpD &f (9) (6.2.5) 


AS a, o> 0, > Gy OO; 


A6 Wit? pro, 

Sat<eo, 
AT {er} 相互 独立 ; 
AS c TE 


À9 limsupe;z!—agi<ce, 
Eo 


文献 [65] 在 证 明 下 述 命题 时 , 引进 了 ODE 方法 . 
命题 B AIO 成立 ,wr 一直 在 Dz 内 ,无穷 多 次 出 现 上 zl 
«eoo, [gx] <el IRMA), 并 且 微 分 方程 


<< a(t) =f(a(2)) (6.2.6) 
渐 近 稳定 , BA 
Pea Je fla) =0} as., 


这 个 命题 的 证 明 ( 见 文献 [66]) 相 当 复 杂 ; FE BU E. 
下 面 我 们 讨论 较 一 般 的 情形 ， BQ, en Peri) TR A 
au £y. 


15d RES it “6H 


Vei m QUE, De, Puoi) eas, (6.2.7) 
那么 和 式 (6.3.1) 相 对 应 的 算法 是 
Gui = Vet uei = Det Gy (QE, Der Perr} rrr) 
= Ty Gy f(a) 2-61), (6.2.8) 
这 里 
8.3 = QR, Ox, Prsa) — fo) + ress (6.2.9) 
MIB (3.1.3), (8.1.4) 2840 ird sk (6.2.8) 26 RR, 得 到 如 下 算 
法 
Tk 一 > Dussco ise o1» Mog» To=9, (6.2.10) 
Deyi = (De Tr a Cf (ay) Fert) ) patogen te ls Mos) 
T & Ius costtoD re i Mast (6.2.11) 
下 面 的 定理 5 不仅 讨论 了 较 一 般 的 量 测 (6.2.7)， 并 且 把 上 
述 命 题 中 的 条 件 AT AS A9 AMT. (AI, AR AT 是 一 个 
实质 性 改进 , 现在 对 ex 25 8E BY AB Se PE AS LE CE AAT 83. 
定理 6.8.1 设 条 件 AL A2 A9, A4, AD, AG 成 立 , 把 方程 
(6.2.0) By Xr Tee TE RB (E08. TEE DOE SERT PR ER Er C+), E 
EJ ERË ORME RA, FARR Ge, J)>0, HUS 
d(ve(a), v«(J))7-0, [SII 
sup  f*(z)w(m)«0, V6, d, O<6< 4, 


Bardia) ad 


(6.2.12) 
还 设 存在 常数 co, tE 1o" | «o, v(a") < inf v(a), Xj5R (6.2.1) p 


的 重 测 噪声 {vwx} ER 
lim lim 2) Oru1=0, as, (6.2.18) 


Pet Een 


ZE m, 四 由 式 (2.4.3) 定 义 ， 除 了 一 个 零 测 集 外, XE RE RE 
A, 设 由 式 (6.2.9) ~ (6.2.11) Ait I9 a) — HE De, Dac Dy, 
SHWETA {ww} 相对 应 的 {ps} — 80875. hpnl «c, 3I 
AS APPEAR (co) 

d(ay, J) 一 > 0. (6.2.14) 
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证 明 证 明 的 基本 思路 如 下 : Po d — HS MSMR, TE 
集 上 验证 式 (6.2.9) 所 表达 的 iex] 满足 条 件 A2.4.3， 利 用 定理 
3.1.1 5518 13$ (6.2.14, 
设 * 为 尾 一 具有 有 理 分 量 的 六 维 矢量 ， Xff—scE, [t— 
870, MRE v, dE |2 一 "<s， 记 
Wan S A D Piradi, 2 Piw), (6.2.15) 
anen = Q, 7, Qui(r)) - EQ(Q n, Pirar), 
(6.2.16) 
onns = EQ, v, Quaí(2)) — fla), (6.2.17) 


a 
1 EN 
witi 一 eet Lids 
=] 


Qui — Qi, m, paila — EQ (s, v, Pii1(@)) — 912, 


(6.2.18) 
那么 
on i AQ, m, Pad -—f@)=<ehitohs, (6.2.19) 
Egri = 0404177 Viii, (6.2.20) 
第 一 步 
固定 n. 我 们 来 证 
S aoin so0 a.g, (6.2.21) 
i 


设 在 AG th ped, 那么 Sal<eo, 用 Fus, ts Yuin) K 


示 给 定 £1, ***, Gx hi, CEP ttg Chin) HRHD A, 而 用 F(t, tt, 
Vu) REAR C1, cs On HAY ERR. 于 是 


F(a, "ttg Yuan) 
= Ca, yuan, cá Vx), (6.2.92) 
Rey rE DCD, MURRAY) € (0, 1), fit 
|A"(r)]|e(r)À^(r), | Vnze0, (6.2.28) 


注意 到 
Prp O — A" CF) PT} T bl A100 Brien eor) —-0, | 
(6.2.24) 


154 FESR Hit OH 


FA (6.2.29) RA 
| E (exa. sala, 77 Cu) | 


-|E Jer n nme 


+ SY atm) Birdy JAF Oea s e 
了 一 不 十 工 


-| |) erri, T, SLO) BC) ys) 


Vie Vk 


di (yi, ttg Yn) OF (Vua, my tna) | 
«etec) P «D Ba) heol 


AE (js, e, Yu) 
< oD Nr) DNC) Cel Ele 


«CO(r)A" (0), > (6.2.25) 
这 里 Or), EC$(r) 之 eo， 在 式 (6.2.5) 的 推导 中 ， 第 一 个 不 
等 式 用 了 条 件 A2. {e} 和 {gx(2)} 的 有 界 性 ， 而 第 三 个 不 等 式 用 
THF À 1, 
这 样 , 我 们 就 有 
|B Ceo, Een 2) | 
= | Ewe, 2E (witne ***, Ax) ] &ea(r2A" Cr) Bla, of 


eate) FP le(s e BA By) 
‘ap (y. "t, Yu) 


«aeq | fy 二 


[47 (BO) Gui «)| 


| 86.2 fi ODE 方法 155 
: LF (2, ttg a, OF (y, rut yx) 
caooo FT 
i 


Yy o o Aa 


BABEN Cyst + has) 


v dF (e, e, IE (Ya, n, Yu) 
e cs(r)A" Qr), (6.2.26) 
最 后 的 不 等 式 是 因为 Eee alr), t=1, 2, = 都 不 依赖 于 时 
[Hi . 
FA sh (6.2.26) 4818 


m e 
E |S oa 
ful 
mo e = 
= HE | Qi, 2 I?4-2 2; pà UO; 1, 2004 51,9 


«Os (7) Xa O's pap (di + a.u) A (n) «oo, 
(8.2.20) 
出 此 便 得 式 (6.2.21). 


当 A6 中 p>2 at, W go min (B ER k ep). BEA Sad 
co, Ailst (6.2.22) ~ (6.2.27) 类 似 地 可 证 
T 
出 此 得 式 (6.2.21)， 
对 每 个 ”， S Ao: 34 wits< 00), P§,=1, 由 于 为 可 
IA, MU PNS =L, MS, GER 


g 
«oo, 


l . 1 "mm 
8,=(w:lim lim 5, zi daa 7-0), 


Peel R—w0 


DZ, P(S,[ 189) 一 工 ， 
T BHO T RAS E Q (S, REDE 总 认为 t (S,[ 189. 
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国定 ©, 设 mu, L5 2. 
第 二 步 
ARE (+) ZARB Lipschitz 常数 
(IOC, ti, 91) QUE, 22, Go) l+ AC — Aloe) | 
+ BC) — BC aa) [D TwenteN, tms y lols 8) 


« K(N)(lo— wl + lpi- al), (6.2.28) 
id d, — max Iz; — xl, 4,,-1=0, 
我 们 来 证 存在 oo (0) fil 
| a, es (2) + ee) 


x È atala) A AK liat 1o] ^75, 


temcti1, (6.2.29) 
TR (6.2.25 MR 
Qi A(e) piit (Alo) — A(2)) P+ BG) 6, 
(6.2.80) 
注意 到 do, «c, HA (6.2.28) RA (6.2.28) 8 
lol e Co) 7 Co) llo», | 


e) $) MfG) A) — ACD Ln 


+ || B(a-1) — Bw) ||+ 1B) [E lle; 1 
«6; (2) CA 705-04 G8) K (Aj + |||) 


: x. A (am) Aya tsa] +1) 


tala) D A@)IBO) le dom. 


Br EJ 
Llp « es (2) +e1(@) E (A-t el) 


, Pr AF (ar) A;a (14 | 3a) ). 


id Ae Ae) CL Lo D, BAKER 
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OO 


j-nckl 
(6.2.81) 
下定 理工 .3 站 知 
hos eg(x)A (a) + aio) K CA t lel) di 
ACD; 
* Cela) = (1 + (s), 


所 以 
L pil s es (2) + es (2) es (2) K Cii fal) Aa 


x 5 AD +a K (Aat lop 4-2 
« caa) -- eg (a) 
x > (A (2) + ey (m) dk (4 十 lof), 


B (6.2.29), 
第 三 步 
id e(2) —1- | f£ G2 l, Y T (2) € (0, 1] 充分 小 ,使 
A (2) A Ala) --ei (2) K (eo) T (w) + 1212) e (2) T Co) 


<i, (6.2.92) 
我 们 现在 来 证 , 如 果 对 某 个 m m mom (ny, T (2)), 
As c(m T (a), (6.2.98) 
BAFE ern fl Cs (2) fi 
| > "T * max CC (0) Y Heslo T? (a). 
(6.2.84) 
st (6.2.29). (6.2.82) Æ (6.2.88) n 
leer, Vir mcim, (6.2.28) 
Hs? (6.2.28). (6.2.24) 及 le;] «e, Vii 
le(o)ees(m), Vez, (6.2.36) 


Jig (6.2.95). (6.2.86) (6.2.83), id qi 9, — qu (om), A 
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(i.-1,1 As £F A 2, WA 


Jornal K (Aic fol + 7S) + (2) CA) 


<K( elm) T (e) + || + 1 s T Cs (2) ) 


(ODT (o) gua), maim, (6.2.87) 
BAN t.y dm, 
Piri= Alpit LAC) —Alm) JQ, 
+ [Bla — Bla) less. (6.2.98) 
注意 到 pnl <eteo(m) colo), i3 (6.2.29), (6.2.38, 
f1l(6.2.95), 我们 得 到 


TOLTO OETAN Nt) 
x [14(2j- — AW pl +.B (9-0 — B2) le] 
« C1) Cig (ae) A17" (5 Feu (9) K (A+ [all 
x > Na) Aj ilo, 1| +e) 
«ex (2)e19 (2) A17" (2) -- ei (2) K (e(a) T (a) + lal) 
x oa) P(a)( i te) icsy. (6.2.88) 
50 (6.2.37) . (6.2.89) 3, 存在 Oxo), C. (o) fii 
or cr (m) A117 (a) HP cg (0T (2) , y y b Rm, 
由 此 便 得 式 (6.2.94), 所 以 如 果 式 (6.2,89) 对 任意 m. mm 
<n (nm, T (a) iar, 那么 对 j 二 I 成立 


|-0, vT,C[0, T]. 


k a 1 mn JA) 
lim lim sup Fi © 6,0414 
Ta Roem T i-nnx 


(6.2.40) 
第 四 步 
由 此 便 知 ， 为 证 式 (6.2. 各 ) 对 j=1 成 立 ， 我 们 具 要 证 可 选 
TT(%) 充 分 小 , 使 对 充分 大 的 如 有 


Amin, man EO wT, VE. (6.2.41) 
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我 们 用 归纳 法 来 证 这 一 点 ， 由 于 ow —> 9, 所 以 对 任意 国定 
的 了 (2), 只 要 名 充分 大 就 有 


A,«-LT(s) (<e(@)T(@)), (6.2.42) 
设 我 们 已 证 
A «c(mT(m), Yi mn T(z)). 
(6.2.48) 
ic 
oy & max CT (2) 4 Mm 十 | 之 Gya, a | + | > 之 di van 
nain j Ala) 


+ max EGG, m eai). f@)EPC) 
+ max Jof l7). 

Ash (6.2.24 RITA 
= GCOCE, m, Qu) Hier) 


| 


+) SoBe, T, Qras(2)) -f0»| 


j 
e > AF (edgy, pass, 2) 


J . | j | 
+ Soil f@) [+] Sates} 
< gut Cs aT (a) +1 0) PCa), (6.2.44) 
He D(a) 充分 小 使 得 式 (6.2.82) 成 立 , IFAW Oe (2) T (2) «c. 
ERA Tlo), 取 7 充分 按 近 z, 那 么 由 式 (6.2.21)、 式 (6.2.18)、 
条 件 AA, 并 注意 到 e; 一 之 0, 便 知 可 取 不 依赖 J 的 充分 大 如, 使 
gm. Vkmh. 
这 样 由 式 (6.2.44) 就 有 


j . 
Pà a, (Qi, Pis Pita) + Pind) 
= the 
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«(S TIG) TG), Vkzk, Vj; me jon, 
(6.2.45) 
AR A — ASE AY AG 
i+ lf -+ lele Mon, YES ky. (6.2.46) 
AB HAR (6.2.42), (6.2.45) (6.2. 460 att Va mum jm 
m+ > KEDE, mi, Pin.) T visi) 
«Of DT) + [2] Mao, 
所 以 在 了 了 时刻, 加 十 Is j« mol RARE, 因此 
Dmi = Wm inl Om, M en, Qmi1) 十 wm 人。 | 
BR .2.42). (6.2.45) 


|z m zi Ss | s, — 2 


+ Dali, Mi, Quai) T Yaoi) 

«e(a)T (a), 
BD AuLie(m)T (2. KERIA R UR ZA REDE BR T 3,(6.2.41), 所 
Lisk (6.2.40) 3] j—1 成 立 ; Meh (6.2.21) 8125 (6.2.40) TER ae X 
Hoo EH 7-2 也 成 立 ， 我 们 来 证 它 对 了 =3 也 成 立 . 
. 第 五 步 
注意 到 对 YE De, D&CD, MIR (6.2.23), Br EJ 


lim lim Si A'(2) — A 


d-y mo 


- lim lim 142) - A") | 
$e BAYOL 


=lim X. CI A* (a) E+ ]A* Q0 Da N oo 


因此 由 条 件 Kl Ad 知 | fCO XE Ds 内 为 连续 函数 . 
由 条 忻 Ad RE CO.2.40 mHE- T.C L0, Tl 有 


Mira, Ta) 
R1 


li onp pry] 汪 


asus 


fh, 


$6.3 NOS " 
TG) TE aC f(a) — f(a) | 
T D a [EQ(t, o, Piala) - f| 


< lim sup 
i-um 


| 


` mine, Ty) 
= lim sup 


DEOR 
<limsup max If@)—-f@)! 


=~ — Apeix minu Top) 


< mex [ASO 


Io M ecc 

由 于 fC De AES, 所 以 上 式 当 于 (四 ->0 Bh BO, Hust 
(6.2.40) 对 j-2 48 Ae 

MEXCRD IEEE m, Wk rho. ERA, 所 以 {ex} 满足 
A 2.4.8, 利用 定理 3.1.1, $328 35 (6.2.14). L] 

LHR RLM, DRT RHA OWS 
点 ， 下 面 我 们 证 明 当 o. Det, 那么 极限 就 是 OURA. 

定理 6.8.21%m Gee AI~ AG SE, AL 中 的 e 为 常数 , 式 
(6.23.13) 的 收 敏 对 mw 一 致 。 如 果 存 在 E Dp, di PA,>0, Vo 
0, 这 里 A, Alo, m (29, p) y, B@, p) AU o? Bd, o 为 半 
径 的 球 , 那么 f(a?) =o, 

证 明 ”从 式 (6.2.24) 知 


Sai(QC, 2°, pus(a9)) EQ, 2°, pus(a*))) 
«COO 8. (6.2.4T) 
FO! 表示 o fit ER E, X(6.2.19) T - —., j-1,2, $8 
mn. 并 且 式 (6.2.47) 也 成 立 , 显然 PO =I, 
由 于 Dr ANE, Dec D,, BASHA po, FE WE O, 
DREA C, 使 
ji A(y) | «oa, Va € Bla", po). (6.2.48) 
BoE (O, po), WoC Am RE Rh RAK Eh, € 
An. BT lal DF- Pr UL FERA e 使 得 
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(pal e, | ox (a9) | e, Vo C An. (6.2.49) 

FR oE An A An N, BRA OCA, 截 尾 次 数 有 穷 ， 对 
MCA, RHE A430 (6.2.138) I (6.2.4) 5 


lim sup jla 


m1 — sl 


E 
J = MECE, m, pua) 


-QG, a, ginal) +K), 


由 于 式 (6.2.18) 是 对 o — BOR, 83x (6.2.49) 8 SE a, 
对 充分 大 的 天 有 


osa m |$ a (QG, m tere 


= lim sup 
kee 


(6.2.50) 


<T Vm. ke me m(À, A) Yo€ A; 
(6.2.51) 


id Quei Piri — Pi E’) ， 由 式 (6.2.48) | (6.2.51) 并 注意 到 式 
(6.2.38) BUE TS AK Ge, Ca, fist — UU] we Aj, 有 


~ iq1-n Cs P Les i 
[Pipil csp uu Va. ks i m (+, =). 
(6.2.52) 
Ast (6.2.40). (6.2.51) (6.2.52) JE 2E 4E. A. 2 ROOFER 
Ca, Cs 使 对 一 切 we A, 有 
IQ(?, v, qi) Q, 2, eua) 


$4i-3 o EF . : 1 
Cg lb + J v4. kim (i, :). 
Bist (6.2.50) KER 
SUP 312.0, pa | 
> T fon |, Yoc A... (6.2.68) 


反 设 ISEDA ABER CS po 已 充分 小 , 使 
\f(@l>d>0, Vo, |z-2°|<po, 
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取 7? 充分 大 使 Sci, HERT 7, HC p 01 7523 7| ME 20 — 


S^ RAK ae ALOA, NO! 就 有 
4 5 - 


Hm sup jim, (ie Lyp PH [<2p7 < à 
A I Xf ec T X (6.2.09) RRA 


By: . 
q 7 lim sup JEANES ET 7 ms | = S E 
ESA JI AES LER BA Mar. 所 以 fa) —0, 口 


$0.3. 一 个 适应 控制 问题 


我 们 把 上 一 节 中 得 到 的 收 伍 定理 来 解决 一 个 适应 控制 问题 . 
设 系统 的 理想 运转 状态 为 
Poria) = A Ca) gr, (m) + B (a) uz tO (2) 8.5, 
pl) C E", (6.3.1) 
ww 是 控制 , 41 ERARE, exXp o. Wi, 多: 和， 描述 系统 理想 
运转 状态 的 参数 名 是 函数 fO) BUR, BE Flo?) =0， [Han Bu 
息 只 能 通过 量 测 
Yeti QUE, Per Quei) bigs (6.3.2) 
来 获得 , vx+1 是 量 测 噪声 , m 是 对 m de b Bp ABD. vy 
AUR, 所 以 实际 的 系统 为 
Pri = A (m)gy- B(ay)uy-FO (wy) Er (6.3.8) 
T 38 5 ERI f(') 的 联系 如 下 ， 
FOE, 2, Puss i2) ) Oo fis), (6.3.4) 


Perr (@) REE M FR (6.8.15), 
Q0, Q>0, gx 为 已 知 的 有 界 确定 性 讯号 ， 记 


J(u?) = lim sup = $> ((es(2*) -pi * Qi (rs (29) 
- 9D ^uam, (6.3.5) 


164 RARER m 6x 
Tm o. SS utl lp) 7 0), Io. (o) 1 


=o(n) as, WEF, Viol (6.3.6) 
要 求 在 式 (6.3.8) 中 给 出 由 及 也 使 
lim sup $ 31 (px -ph Qp pt) Hia] 
-min J(u’), (6.3.7) 
设 D'D-Q., (A(2), BCe), D) 能 控 及 能 观 ， 那 么 可 从 下 面 
的 Riccati 方程 定 出 S(w): “9 

8 (o) = A*(2)8 (a) A(w) — A*(2)8 (2) B(a) (Qs+ B" (2) 

S (2) B(a)) 1B*(a) 8(2) A D+. (6.3.8) 


ix 
L(s) = — (Q2+.B (a)8 (2) B(a)) 1B" (2)8 (2) A(a), 
(6.8.9) 
F(a) — A(2) -B(2) D(a), (6.3.10) 
bala) = — BP")) Quip (6.3.11) 
dy (a) = — (Qt B7 (0) S (2j Bw) ) B^ (a) br 0, 
(6.8.12) 


那么 从 文献 [15] 的 定理 3.5 知 
ux D (a9) py (29) thla) EUO, (6.3.18) 
把 这 个 WFR. 3 0 E LSEEUT AR. Ba, FIARA 
列 , 并 且 
= Sef —> Ro as, 
那么 
min J (u9) er S (2 )C (a9) ROT (a9) 


n=l 
+lim sup i 2 [piQigy bala) Bla") (Qa 


tB" (S (a9) Ba) 3B" (2°) biy3(2°)] 
(6.3.14) 
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RITERITE, 

HI &@DD-Qi, MA-MARR, UCR. (AC), Bla), 
DEBER, VoC M,'H ^c M, 

H2 {spn Fa) ARH, [alcee am, Ee-lce, 

H3 对 gg 及 ww 并, QA, o, 9) MEM Lipschitz RH, 并 
E Lipschitz Fe AIK REF k, 

H4 oC, F(s), Bœ k Ow MERR Lipschitz 条 
tF, 

H5 对 wE M, lim EiQCE, 2, Perle] =f(a), F(a") =0, 


这 里 
Pril w) =F (m) puo) 4-B(a)dy(a2) + Oy) seat, Pola) — 0. 
(6.3.15) 
H6 FFE Xu ORE oC): BB, HF 
sup "a (m)s,(m)«0, Vir, (6.3.16) 


talt- E 


HRAC, (o. lal«CacM, MRRUMAR, M= 
(M°)°), 
v(a") < int v(2), a C lo æl <c}. (6.3.17) 
HT HWA P 和 机 E x iM, FF H3 The 收 襄 时 


=0 a... 
| 


1 minr T 
lim lim sap] s! Oia 
T0 Ku i-hy 


H8 a>0, Samoo, HAHA p 0, S1at«ceo, 


对 a? 的 估计 由 下 面 递 推 公式 给 出 
Dum (Det Yera) T imtas Dex) V irdan Eis 
(6.3.18) 
定义 适应 控制 ; 
uy, =? L(y Pr t dm). (6.3.19) 


26.3.1 设 Hl~H8 Ri, 把 适应 控制 (6.3.19) 用 到 系 
统 (6.3.3) 后 , RT—-PRW MA, 如 果 当 了 于 列 mu WR, FRY 
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T Pn Ba: | ®nal <0, 那么 T REA a", gu — gua?) ion 0, 并 


E SES (06.3.7) , ARE VE 对 这 个 样本 当下 >cc 时 ,实际 系统 趋 
疝 于 理想 的 运转 状态 , 并 且 指 标 也 渐 近 地 达到 被 小 慎 ， 
WAR AFR eC M, (Alo), Bla), D)RESSBEXO BAP (o) 
稳定 ; PROBE AC (0, 10 R e 0, fl 
LE^(a) lex", Vnzi, VaC M, (6.3.20) 
这 和 iow 的 有 界 性 一 起 , WEA bra) drla) k RAR, OE 
«oo, gC M. PW diem ES EL. 
用 (6.3.19) 后 的 实际 系统 为 
Quim F (oy) Put G Bren (6.3.21) 
xx Hi 


d; x 
G2) - (B(x) 109], eees =| Mul (6.3.22) 


d 86.2 中 , 把 A 2), B (o) MURR P (2) BECO), 便 知 
A 1A 6 成 立 .那么 和 定理 6.2.1 一 样 地 证 明 , de SL (S, 上 , R 


(6.2.40) %f j-—1, 2, 83 成立, 为 了 证 明 a^ CX SER 3.1.1, 
注意 到 在 该 定理 中 算法 是 变 界 截 尾 的 ， 但 式 (6.3.18) 是 具有 固定 
截 尾 界 的 算法 。 但 这 里 额外 地 假定 了 a^ C M, Mists HO 中 要 
求 了 co 满足 des lee) CM, PUM3.1.1 RASA 
都 照样 成 立 ， 所 以 在 集合 

S A (o, 如 果 ns, WA, 则 pw, 有 界 } 
Emo, BUDE S(m)—S(), F(a) >F (2), (gy) 


下 一 > oa 


— dy(20) | 一 > 0, 并 且 存 在 了 及 we (0, D 


hy es 
LE F (a) |e fut", Vk, Ynet, (6.3.28) 
由 此 知 {ww} RAR. dB pAg ple), ERA 
Prr =F (2) Gat (F (y) — Fe?) pet B (9) di (e) 
— Bla) dy (a?) + (O (ay) — C (23553644, 
WA Gs 0, BF Ubon uda 0, 并 且 成 立 式 (6.3.7)， 


oo 
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$6.4 连续 时 间 系 统 的 参数 估计 


我 们 在 第 五 章 中 给 出 了 连续 时 和 章 晨 机 遏 近 算法 的 收 伍 性 定 
X. 这 些 结果 可 用 来 研究 连续 时 间 系 统 的 参数 估计 问题 ,得 到 和 
§6.2.6.3 相关 羽 的 结果 ， 
ia'cR RRASA fla )=—0, Ho xk t A c? Bud 
ib 它 的 方程 在 以 后 给 出 ， 
设 实际 系统 为 
dg, = Áo, dt+ B (a) di, (6.4.1) 
状态 o. 是 完全 观测 的 ， 对 参数 x^ 的 信息 通过 量 测 方 程 
dyi- Q, a, @idi+ H (m)da - v, dt (6.4.2) 
HK. AQ, BC, m QU, m, pe) REIR RS 
FH (m) dw, tv dé 
都 不 事先 给 出 ， 
我 们 要 用 到 下 面条 件 ， ; 
Bl BME, MUCH’, PCM, SHI- rEM, AGO BE, 
B2 in, Fi AR, mila, A Eno, Ff. 
BS A(a), Bia), Hm E M AEB Lipschitz 2& £F, 
Bt WoC Ro, Qt, 2, o) Ul RAB Lipschitz Rt, X 
H Lipschitz BRAK TF E. 
Bb FARR | 
lim ERC, a, e (2) AS (2), Vac M, 


HEEM E, f(a) mE Lipschitz 条 件 ， 对 固定 的 ec R, e.a) 
是 下 面 方 程 的 解 , 
de: (2) = A(a)gi(2) d£-F Ba) dt, pola) =0, 
(6.4.8) 
B6 FF 7E— REE SED MAA o) HR, BE 
UP, Fn) Vw) <0, (6.4.4) 
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FFA FEE oC R R eo > 0 g 


v (a) int vm), (6.4.5) 
fa, |2]<eo}CM, æE im lale. (6.4.6) 


BT (oy, FH Wiener 过 程 ， 除了 一 个 可 能 的 例外 
零 测 集 外 , Meh 9, (vo, FORE ERE, 当 £5 00 WH, fo, 
Tiy iro BY, Bul 


lim lim sup 7 i" av, ds=0, YEE [fy, slin TY] 


(6.4.7) 
T t 
B8 a,>9, d. 0, [^ a dace, f a, ds<co, 
对 a? BT m 定义 如 下 ， 
pj eq +f ài, doy, 
=p" 十 f als, a 2 1 Pa) dI ao <nds 
[aH (0) Lieren dw,, PSU, (6.4.8) 


infit i>e, a£ M), 
Ug 0, Cei tm | 


oo, MFR ei CM, Vi>os, 140, 1, =, 
(6.4.9) 


Oy m= 2 i To, ise. (6.4.10) 


HEH 1.23.3 5017; (6.4.1) & (6.4.8) dE I Bl [os on) E 
Fi HE — WEG, po, ER m K, 由 于 Alm) 及 B(n0n 有 
Jt, Br EAS (6.4.1) x] o. 线性 , 因而 没有 爆炸 ， 我 们 现在 来 证 ci 一 
co. RE Ci wa «0o, BA Gui; ian 0. 这 就 导致 下 面 的 


i 
7. o 
0«cd(sm", (M29) « leona] 


«f^ MELES, m5, Wy) vs ds 
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«Jl UN a, H (253) dao, — 9. 


Br ELS (6.4.10) BH] ox TE CO, oo). ERER. 
m 6.4.1 设 BI~B8 KY, 下 面 所 涉及 的 条 忻 概率 正则 ， 
又 设 每 当 zt WERE) 型 的 内 点 时 , 如 一 > oo, 相应 的 Lon BAA 


k— oo 


(除了 可 能 的 测度 为 零 的 例外 集 )， 那 么 由 式 (6.4.10) 定 义 的 mm 
证 明 记 
& -QU, a, 9) — f(a), (6.4.11) 


B o 固定 , ms 0€ M. id 
8,177 QU, 2, 9) QC, o, ei(m)), (6.4.12) 
8,57 Ql, v, plr- HQC, r, wr), (6.4.19) 
8,5 EQUI, 2, qiia) ) — — fin) (6.4.14) 
ei — QU, v, Pm)) — HQ, ar, q(2))- & a, (0.4.15) 
rE M, r 的 分 量 为 有 理 数 ， 


从 Ao) ire Pe BE e 
[o4 | e997^*, 17-0, Va M, (6.4.18) 
由 此 知 
le (2)1« 0o ffei -Pbyds< £27, b max | Bo) I, 
(6.4.11) 
注意 到 


d(g.(a) — pI) = Alm) pka) — pi Cy) dt 
+(Ala)—-ACy) PY A 
+ (B(a) — Buy) mde, 


pea) - ov (y) = [ettet -E Aa) — A) plU) 


| t GB(o) — B(y))m]da, 
Ht (6.4.16), (6.4.17) 58, p(o) X tE [0, oo0) 一 致 地 对 e EER, 
由 条 件 B4, (6.4.17) & Eno 知 , QU, o, g(a) MEQG, 2, 
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$,(2)) BBX 2€ [0, 95) RR c HERE 所 以 对 任意 60, 必 可 
Rr, tt lef «s, Vie [0, o5, 3X MÉ, 我 们 只 要 验证 


i 
lim lim sup | | Gees, as| =0, YEE [fe s(&, TY], 


0 k T 
j=l, 2, 3 (6.4.18) 
4E SB ES TELS H EE 5.2.1, 
Sls Silku 
[ aaads<ea &.8., (6.4.19) 


Ff A Sb SR HI HRD n 无关， 

由 于 7 司 列 ; 所 以 只 要 对 固定 的 ?证明 式 (6 .4.19). 

用 ase RIR ne SASKE 产生 的 oU. 用 PR (dy) eas 
给 定 Nos 后 , Ms, SAKE NMR HH, TW P.Odg) XR Mm, OA 
<s 的 分 布 . FRA, Hin. PORRER SB SS [8] H BGA 
Bi. 而 用 wh ern Ram ERA, BA 

| E (é:45,0 | os.) | 


-| [piecay ots, r, oopte) + fenem) 
- | P. (y) predy)Q (t7, r, otto) 
i 
二 | eme B(r) nt du)| 
== || P. (as) Pr" (ay) IQ(--s, f, ef Og (e) 
+ [esee B(r) mtd) —Qt+s, r, eS" prr) 


+ f etotmB (ryt aw) |, 


由 条 件 BA (6.4.16) (6.4.10 REAM 
|E Ests, |o) | 


< [ Pay) K leto, (7) — ett Gr] 
«Os Ke (pir) | +E leer) i) 
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«(c6 7, Eci<co, 
Elen] =| Play QG, T, gro) - | Pac, v, prr) 


= [PLADI PADLE, m, o0) 7 QC n, oC 
«2KElo(r), 
这 里 OK 是 Lipschitz 常数 , cf RRT o. 
I BEA Ex«oo XR (6.4.11) 
| E (6,, 2055,22 | =) E [65,2 (Enns los) J | ese", 
所 以 


ne 2 
E f ©, ,2 dë 
心 


< C3 re Css + te -àt d: ds 


EN ate?! ds dt 


M. ix. G2. 7t da dt| «ceo, 
Ü Ju 


JE st (6.4.19), Br EAR (06.4.18)xf j=2 BAL, 
S24 SqRDEuEBDXLIEEDCEA AG] E, m m T. 足够 小 使 
lee] Keates ds, 
A, & max |o — of, Ve€ [&, s(f, Tol, (6.4.20) 


注 意 到 De, Tu An 4r HRT E k pi S 有 界 ， MK. 


gi g AGE Fg, 
+ | e 42x? (A Q0.) — Ala) pt Bla) ne] ds, 
ish (6.4.16) RH BS A 


t 
los cse toh cobn [ a^ 79 ds-4- e. e «79A [ol ds 
Tk k 


t 
«oto e ^79 A ps ids, 
fk 


ii h= jel, 由 定理 1.3.4, 从 上 式 得 
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t 
h< Cae" + Cats | 4, exp | hs- es f 4, du. ds, 


| di] eR en -F cacy 4| eg O7 OO AOT nds 


TX 


Cato 1—2a--€ dot 4.91 
Cg 十 Look * e ). (6. . ) 


因为 on 52€ M, 所 以 对 充分 大 的 天 及 充分 小 的 了 Ht EE 


(5, sy, 2 算法 没有 截 尾 ， 从 而 e 在 [s s(5, Tol LER, 


于 是 
lim lim 4,=0, Vt€ [tx, s(t. fx], 


Brust ot Kay &, 总 可 取 小 的 Tu 使 
P ERA (6.4.22) 
WA Mak (6.4.21), (6.4.22) a B (B th 5, (6.4.20), 
第 3 步 SIOÀUEXxXuEIEXEA AMET. b B] 0,70, cnt 及 
To H-P T «To E 350r ABI EM 


Aeg eoT, Io meus VEE Lic, S(fy, T]. 
(6.4.23) 


注意 到 对 充分 大 的 
=a, + | e,[Q(s, T Pr) + vl ds 


«f gsH (a, )deo,, t€ [ty 8(5, Ped], (8.4.24) 


从 Lipschitz #4 B® io} 的 有 界 性 知 
IQ(s, 2, eas cial el, (6.4.25) 
这 和 式 (6.4.24) 一 起 导致 
1 


Aj izn- e| Fes Tess | a lgl de | asp di 


+f aH (@,)deo,, Vt€ [és, 8Cr, TD), VP «T^. 
(6.4.26) 
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Hy sh (6.4.20) sh (6.4.7), 并 注意 到 
|; aH (o) d «coo à.8.. 
从 式 (6.4.26) 5g 
A, 127. + C19. (e, Cs A; ) T gp (6.4.27) 
这 里 lim lim sup | gr h| —0, 
T= k= pa 
所 以 ， 
A, cis T + ess T. s, 
当 Ty 1/015 时 ， 
T 


AS ges VEE [s s(tr, T)], VT. 


(6.4.28) 
X dit sh (6.4.28) R, 要 求 T 小 ， [s i) [£s 8Cfy, Ty] ERRE, 
iia (6.4.22) f 3r, iii) T. l/es, id 
T (k) = max{f; À — Codecs, ,T) 
在 上 面 的 分 析 中 , W 
T,= (TC) A), (6.4.80) 
并 取 fy > 0, | 


Teu Eun A modu) (0430 
iH d—d(s, OM), 
我 们 来 证 , 对 一 切 充 分 大 的 S, TOO ST, BR 我 们 只 要 考 


RT (E) «oo 情形 . 

由 于 w ESE, RARE R IA 00 dace, san = R ii) HE 
s(t, T (EO) Bl, RERE. 

当 了 (有) 之 一 Rb, Hs (6.4.9) RU TCH) Ty, HURMA 


BAR TQ) < 一 HME. 
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M IDBDLHTGOO-T.B WAE Th, s, TOO) EUS 
BUE, HEA- coden rane, T)«——. 因此 从 式 (6.4.28) 
Pk) 
jad i 
AS el C! YEE [&y, s(&, T(&))), 

由 式 (6.4.81) x 
Ay 
这 表明 在 s(t, TORERE, 因此 和 ii) AREA RT JB. 
MUA TO >T. Rip, T >T EER NEEE 

的 , 而 当 ti) 7S RSE, RARE HE D Re ET. 
RIRH TU XT. 那么 从 式 (6.4.28)， 及 式 (6.4.81) 


Ca T Ch) Cao 
本 二 < 一 20,,7 
Ze, ron SE I eT, < Toni 2017" o. 
这 和 1) RX (6.4.21) — E4 
E =A — Codie, Tio 77 A — 2690141 0 


zal 


所 得 矛盾 表明 对 一 切 充分 大 的 E, TCR) ST, xh (6.4.80) (850 
Pyro, Ati Pash (6.4.28) (6.4.20) B 55 (6.4.23), 

第 生 步 ”我 们 现 对 j=1 及 3 RiEK (6.4.18), 

记 Pi=Pi— pilD), 


B llet<e, past (6.4.17) A pnl «e 


由 和 条件 B2, BS Aish (6.4.16) (6.4.23), 从 方程 
dp,=A(a)p,dit+ (4 (a) — A (2))9, di 
+ (B(s)—B(z))n.di 
AI Vat KB KCN 
Mrd eae nos, Vi [ty, s(t, TD], VT «T,, 
(6.4.82) 


Cbn 
Loc 


rico 
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由 条 件 BS 55 (6.4.28) K35(06.4.92) BUR 
limlim sup E f Gra ds | 


TO eos 


<K lim lim sup 7 [^ ra(4e+[|Gall)ds 

«EK lim lim isup (es T 4- m MAX diuo f grai) dg touT ) 

=Ü, 
Vt€ [&, s(tz, T)]. 

这 就 证 明了 式 避 ,4.18) 对 了 一 工 成 立 ， 


最 后 由 条 件 HB5. f(*) 的 连续 性 及 式 (6.4.23) 知 
lim im sup 3 | J, (485, a à 


Tea pem 


LIE esf -Feas 


lim limsups |f" (ERs, a, e) — f(@)) rds} 
=0, Wt [če s(t, 7], 

这 就 对 (<3 EM Tt (0.4.18). T 

x4. 4.1 在 条 件 HL 中 ， 开 可 放宽 为 无 界 集 ， 这 时 算法 
(6.4.8)、(6.4.9) 就 应 从 固定 界 截 尾 改 为 变 界 截 尾 ,如 (5.2.8) ~ 
(5.2.11) 定 义 的 那样 

4.4.9 和 6.3 类 和 杞 地 可 以 讨论 连续 时 间 的 适应 控制 问 
Si Eum 6.1.1 用 来 求 二 次 指标 下 的 适应 控制 


= lim lim 180p 


$6.5 非 线性 系统 的 参数 估计 


在 上 一 节 我 们 所 讨论 的 实际 系统 (6.4.1) 对 p 是 线性 的 ， 现 
在 我 们 来 讨论 非 线性 系统 , 噪声 也 较 系 统 (6.4.1) 中 的 更 一 般 . 
设 实际 系统 为 
dope= A(m I pdt+ glen podi -B(a)u, di 
+ Dla, M dé +O (p,) du, (8.5.1) 
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q,C R^, Him 是 确定 性 矢 重 ， NC DR (0.4.2) 
一 样 
dy, Qt, d, pA + H (modot vdt, nE E, (6.5.2) 
WEE H, Ri EA cR, fio) =0, m ty 
刻 对 a? BEI. QG, e, p) 和 o? 的 联系 将 在 下 面 的 条 忻 中 给 
出 . 
我 们 将 用 到 下 面条 人 忻 . 


Oi MCR, MR, PCM, Heats} 表示 任意 取 值 于 M 
BE. HG 表 转 移 函 数 阵 


SEs le) AGBs), Dus) =I. 《6.5.3) 
设 存在 不 依赖 于 的 常数 6。>0, 2-0 fi 
I$. «ce 9-9, Vizs>0, (6.5.4) 


O2 HH»: ER oin, Ost}, F,Aolvor, Cor, Wort, Wr, 
.多 1!) 是 标准 Wiener 过 程 (50. (eg 和 (v) WERE, |»i«v, 
E»«oo, |f 0, 为 常数 ， 陈 了 可 能 存在 的 零 测 集 , XI— UI c, 
只 要 om, 当 加 一 co HM, 就 有 


lim lim sup | f rvs) 0, VEE [5y, s(t, 7], 
T=0 kote T a 
(6.5.5) 
这 里 
r,7-0, [ r.dscoo, [ ds<co, r,—50, (6.5.6) 


if 
N 'nds-T., (6.5.7) 


O8 weEF;, |wl<u, v We, 
C4 FABRE ACR, $ 
Cigj=0, VoeM,, 
lg(s, g)|«g, YEM, Vpc R^, HA g(o, v) E C(o) Wi A 
Lipschitz% fF 
lg, e) 5 ADI hle-vl-hle-vl (6.5.9 
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lC (e) - CO) kale dil, 
VE ka ka PIR (6.5.4) HRA, o 满足 以 下 关系 
入 — 2c? (24 8)>0, (6.5.9) 
(由 此 知 存在 8>0 合 
&- (2+8) (s w)dp>o), 
O5 Alm), Bia), Dio), H(a), QG, e, ote E oc.M 
Lipschitz £2, xt QC, s, p) HJ Lipschitz WE SCIAT t, 
O6 设 
dg, (m) —.A (n)p,(mid£--g(wm, pm d£ --B(m)u, dt 
- D (a)t, di--O (9, (2) dwn 
go (2) =0, 
(8.5.10) 


对 任意 EM, 存在 flo) E 
lim EQ(, a, pla f (2), (6.5.11) 


并 且 在 ML, fC.) Lipschitz 连续 ， 
Ct 存在 二 次 连续 可 微 函 数 2('); BOR, 使 


, SUP. fm ve (2) <0, (6.5.12) 
KEE at€ R" koroi 
v(a") < inf v(a), (6.5.13) 
fo (al < ON RM, oE (m lolo). (6.5.14) 
对 好 的 估计 和 出 下 面 的 算法 给 出 


gi" -at f rdg, -a+ f Ta [Q (8, 2 Ps) +p, | Hn ds 
二 | rH Cat) Lise dis (6.5.15) 
ü 


2 
infit, $20. er € Mj, 
gos 0, Tuas m 
| eo in JE wre M, Vio, += D, 1, ane 
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2, i Tis tec . (6.5 .16) 


用 Lipschitz #4, Wish (6.5.1) Rsk (6.5.16) FF FE E — 54 
fif 

引 理 6.5.1 BERT X(8.5.5)7 (6.0) EX (6.5.9) b, EIR 
Vee OIC5， 那 么 存在 常数 u 使 

| || =< ge, Yio. 
HEA 设 ut: p= Polo), Rp 
Ala) bo Poom, (6.5.1) 

X oc—OVeVvVleso, Macis. lal] eh KEER 

(6.5.4) rh S IB, 定义 b= max {Bim |, 


infit lgl >At- g + bu max | Dos 
—Jeo, # hed cete Cg bue max ED (2) D, Vi>0, 
对 Too 情形 ， D FE RE vir he le s! = 61, 注意 到 | Poi «es 
BEA es [o et + g tbu-rmax [D(2) D), YEE (n, 了. 这 


说 明 p EMi, VEE (v1, v]. 
这 样 我 们 就 有 


P. = Wen Pr «Dr Vs ug EF Pa) ds B (2,)u, ds +D(a,) bs da) 
+ r dr Op.) dae, 


= de Pri +F Peg [g Ey, Ps) + Bu, + Day) £i] ds, 
Ask (6.6.4) E (6.5. 1T) 


et T (g-+ bu-rmax |D(2) lL) 


= je, < ce: mace | entm (ge bu max] D(a) | C) de 


T 
Ti 
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e(g+bu-+ max | D(z) |) 
x 
3X LT Roce, 而 这 和 6; Bri SCARPE. Pre 
lpi <ot+L(g+iutmax|D@IOas, OF 
定理 4.5.1 AAKC1~CT T, 设 下 面 所 涉及 的 条 忻 概率 正 
JU, 那么 ap — a^. 
证 明 [Ew 
f, 一 一 > vE M, dAd(a, AM)> 0. 


t=» OD 


任 给 se€ (0, 5), 对 充分 大 的 为 有 


« 00, 


la, — ol «5. 
3t H8 3& FE UH 
2,— mr, =f r (Qs, 2, 9.) --v,)ds +f rH (a, dey, 
(6.5.18) 
因为 | rH (a,)dwy<oo, QG, 2o. 9 X ve AR, 存在 DC) 
—9, 34 0-72— 2,«78(8) 时， 
la: — 241, 
并 且 (8) 对 一 切 充 分 大 的 都 一 样 . 
Rn, HSK 使- 六 < 只， 那么 对 任 一 加 可 找到 正 整数 
mm, E 0< TH nec), aE A 


E 
[2 m, — |<, | m. — $8, 
2 
Ha ng 


总 之 , E e0, TRIER n 及 {mzx}， 使 对 一 切 充 分 大 的 外 
成 立 
[em — 2| <a (6.5.19) 
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RrcR, r HAERERAA. ic 
&t,o — Qf, Dt, 9i) — QU, T, W), 
8,,1— CÈ, T, $i) — EQtt, T, Pi) (F my 
siam E(QU, r, Or) |F m) ~ BQ, r, (7), 
Ess SECC, T, 90 | m) - E(QQU, r, 9100722 | m), 
&, 4 EQCE, 0, (72) f (92. 
那么 | 
Qc, Pry qi) — flay) = zi. (6.5.20) 
下 面 用 类 似 于 定理 6.4. 工 的 证 明 中 所 引进 药 符 号 , 用 PS (ly) 
表示 给 定 多 , PARR HRMM Be, om Ge ws 
Van, SEAR 的 联合 分 布 ， 并 把 iz. (Qi, Mu, Vay ba War 简 记 
为 im). HALF, fo, Ost) KRR H IO PM dy), 
id 
h(s, 1) e [Vi (a (ms pi) BG) Don) Cn) dh 


+| V^, C Cp dwn 
那么 
P= Vp, rs, t), 
因为 
E(Q( ts v, Pirs) | Fa) 


- | Pf. (8) QQ-s, T, Vus, th Cs, Ete) 


(6.6.21) 
By 4g BR Ey ES A 2s [8] PE, 不 再 依赖 于 样本 函数 9x， AE 
[0, s1, 所 以 


| Pf. (Qs, r, Brp thls 04-8) 


Fm 
-| Pp,™, (dy) | PRGGy)IQGTs, r, Piep 
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+h(s, t+s)). (6.5.22) 
(AR (6.5.20) fp A XU, WT ERAS eR, 把 它 记 为 


| P2 (dy) Qs, T, Piss pi A (5, i+s)), 


那么 对 T«r *j 
E[(Q(s, 7, 9) 58] 
Fm 
~ [Poi Cay) [PAQES n, Persp 
+h(s, tta), (6.5.23) 
Ex (6.5.21) ~ (6.5.28) 4, 对 m Aan Fe Th: 记 
E=, T 9,) — E(Qtt, T, 9) | nJ; 
由 条 忻 05 及 式 (6.5.4) 有 
LEG F ») | 
< |) 9.3. co) | Pr (dy) 
* [Qt—s, T. rea ae RS, Í--8)) 
—Q(1-s, v, Vi. pl hs, t-2)]1 
«1| P, E, (y) [Pts b) Persp Vott 
< kce-" (lah + EC (pal 1975) 
oe Vizse0, (6.5.24) 
Ze) B; 
ECL LE ») 
- [P.F (ay) ac, T, pi) - | P. (Qc, t, p| 


- ( PE ayy} [PF DRG r ob Qs, v, o0] 
<2kH Lo F m) Eta, c; 和 co 都 是 常数 ， 
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Hi Ze sh (6.5.24) a 
Ef E dsl” -2E | (P Taran Eedi ds 


«2E | rsB ETRE 211 pads 
: T 

= 26409 上 f Teen id di/ds 

< Cip M f (rt-+r2,, edt da 


& 20102 f rids f & ^^ dicoo, 


peu [n diese dis 
因此 , 对 任意 ”及 正 整 数 r, 
F DELE: 


a 


+0 a.8.. (6.5.25) 


HQ of, EO bu.5.5) iar. NZD du 

oo, S (6.5.20) Xt — UL IE SEC n 及 具有 有 理 分 量 的 7 都 成 立 , 那么 
PO =1 xc FÉ, 可 以 认为 在 一 开始 固定 的 wE 0’, 由 式 (6.5.25) 知 
F, Tas, 1 d8 一 之 0. (6,5.26) 


Fa 


MX (85.5.10) gp Ad 
Pirar) e^t! p, Cr) +9(8, 0, 
gis, = | eg**Xt»[o(r, p, (7))dA Br dA 
T DorMIdA +O lp rdw], 
与 前 面 类 似 ， 不 过 现在 用 {m} 代表 {pxkr) us G, wh, H 
Pend m 8 E Nos 后 PACT), 1, Cay cn, SCARE AR RG, 
并 用 P.(dy) ER ym, OAs A Ad Ai Az (6.5.24) 26 pn n du 


[Pate (d) QG-es, r, eto (7) Hals, 1572) ME ES OR s KR 


FRE M ML 0m 


wif O 
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中 的 变量 , 而 它 在 函数 空间 中 的 样本 记 为 
| Pint (da) Q(t+s, r, e^" pr(r) - q(s, E+8)), 


为 书写 简便 ， ins——*, 那么 
842,57 EQ T$, T, Prak TI) | 70,4) — EQ(t 8, T, Pip (r)) 
- (PA) [ Pes ds) (QG-s, r, ott) 


--g(s, t#+3))—-QG+s, r, eS py (7) +¢(s, t--9))]. 
因此 , 由 条 性 CO 及 式 (6.5.4 就 有 
[esaa l kee "LE Cler) lno) +Ele(r) I] 
«cae 7t. 


所 以 由 上 式 及 六 一 > 0, 知 


上 六 real 一 |J. T. m, ma | 


< os sap rJ. o dt 2" (6.5.20 


id Ppl) -Pn tT, 
注意 到 
dp,-- A(r)g,dt-- (Ar) — Alm pdt + (g(r, 9x(7)) 
—g(z, Q4) ]dt+ B(x) — Bla) Judé 
+ (DY) — D(a) bidi + (e(piQr)) — elp ) dor 
由 条 件 Q4.05 式 (6.5.4) 及 引 理 6.5.1 48 AD FARK E 


- =. (t8) LL Lan 
Jg. «or^ CP piu, peo | pe ads 


-teka [ elg, las+| f GATE 到 


[elp C7)) -olp dws (6.5.28) 
3 hy AER (6.5.8) p AH, 
注意 到 初等 不 等 式 ， 
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9 z 
layl = | S ay DE ay, 


所 以 对 任意 5>0, 必 可 找到 常数 oa 0, 052-0 fii 
(> n) « 042] tamat (2 2-0) 09+ (22-0) aj, 
这 里 ov 为 任意 实数 ， 
eee O4. 引 理 6.5.1 及 Sehwarz 不 等 式 从 式 ( 人 6 .5 28) A, 
ECNE |. m) «ese CR +05 [oem 


TH 
n 


"Er — m^] F m ds + 


(2-+-8) 07k 
^ 


f EARLE mds 


"a 


+ (28) Ko? [^ eme-m ECL us Xs, 


(6.5.29) 
这 里 Cr Co 为 常数 ， ka ks 为 Od 中 的 常数 . 


注意 到 QG, r, p), MARE |" rH Gnd too, 1H 3 
(6.5.18) 1, 如 果 dlam, OM) >d, WARE T>, 并 且 了 不 依 
BUT 为 当 太 充分 大 时 有 

EET -| r (Qs, o, p) trd ds «f nH (a, dav, 


fe 


vee [™, s(™, T). (6.5.30) 
iu 
As, lo d (au, 2M)» 2. (6.5.91) 


Hi 06.5.80 Al 
ECs om (PL ag, | F m ) oct 14, to) Iis 


we [™, s (2s, r), 


§ 6.5 非 线 性 系统 的 参数 佑 计 185 


或 
Ee — rl Lan, Fm) 
EP | Dine — |E an, oor TT a, eC) La, (6.5.82) 
ix Bo) koe B] AT oO, 
$8 X (6.0.82) (RAK (6.5.29), 398315 (6.5.9), dd 
h= e" Ep: La, | meds (6.5.99) 
那么 就 有 


hig eo n Lau +err (Eme 一 rI?4- T") Lanm, 
t 
4 6-2» hes. 
TE 
rhe 
取 ec’, 由 式 (6.5.19)，, Hy HO 个 充分 接近 Ty E an, —T «T, 


ABA MEAN 
hee ego ™ Ian, ev DIL, + (s. — p) f hads, 


vic |=, (Zt, 7) (6.5.84) 
MERE CH 1.3.44 
Ete sla, TO — e (es e Dy -- eg T^ e^*) 


x I4, 6^7 ?**7? ds, 
所 以 
Eph Aan 1 F m) 


& C5 eC E Ian (& — p) | C52 us E UP ds Ia. 


: 
«cg (A — p) T^? | e PU dst a... 


n, 


mr oft La t ME 
mese ET Ian, + onl $ wg s re) Ta, 
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十 en T (1—e — C RI, 


Kao UL, eem, WEL, (2, mJ 
(6.5.95) 
MR BES EE E SE B oo, m.m, H1 25 (6.5.19) eE 
(6, 与) 从 式 (6.5.31) 知 对 充分 大 的 为 这 个 oC Am, 因此 对 这 
个 名 由 式 (6.6.85) 得 
lim lim sup 7; r Je PEF m ds 


T= 


<lim lim sup $ r fa. n EE CIL m )] 52s 


T0 


iino | sup r, r].. A cs SAC "A ps 


+ / 0s. [i vs] 0 wea, (2, T). 


db Rc e 05 便 知 ， 
lim lim sup = IN T8, B as| = 


T+ kow 
vic E (5, T). (6.5.36) 
Xi EX 670, WHE rA e SL, 由 条 件 OD AL, 
ime. |f. f 45,0 as| = Ú}, 


T2 K=p 


Yi [m ; (2, T). (6.5.9) 
由 条 件 CO 知 EQ, r, pc)», 但 f(es) 7» f (a), 所 以 
lim lim sup 7; F lla LP P ds| x84 (> 0, 


kaca 
we[ 人吉 


$6.5 FE GR te HERE 187 
这 样 , 我 们 就 证 明了 , HER 60, 如 果 22€ M, RI 
limlimsup 志 | r.(Q(s, sy Pa) — f(,)à:| <8, 


下 一心 kro 


we [m of) 
因为 对 eC M, Qs, 2, PR SJOA R HABE 670 后 , m. 
Fa 3 FEE FY CUR (6.5.18) 以 后 ). 
0<—*— h<8(8) Sop D, 


所 以 
lim lim sup i jE (Q(s, m, p) 一 f(a, ds 
P30 kos T te ! Dr 0n T3 : 
Y: 1 
Sig np mop re S0) 
. sup (|Q(s, o, 9) | + if Co) |) =9, 
Iz Mae 
因此 对 性 一 e> 0, 


lim lim sup 7 | | r QIS, &,, gj) —F(%,) dsj <e, . 


Vic [ 5, s(t, T)) 
最 后 由 定理 5.2.1 EA no, 


a1 


适应 性 滤波 算法 


在 雷达 、 通讯 等 信 身 处 理 问 题 中 ， 在线 狂 系 统 的 参数 估计 中 ， 
常常 有 这 样 一 类 问题 : 对 一 个 信号 列 加 权 , 在 最 小 方差 意义 下 去 对 
Xt 5 — MESA, T xx FOR S RAM, 或 称 为 最 优 线 性 滤波 
E, Bb X 5B Pe Wt a Db 3 B IDE, 在 矩阵 维 数 较 大 或 要 求实 时 处 理 的 
实际 问题 中 ， 直 接 计 算 的 办 法 不 可 取 或 不 可 能 . 利用 不 断 得 到 的 
这 两 个 信号 到 的 新 数据 去 逐步 修正 对 最 优 加 权 阵 的 估计 ， 为 此 而 
HAEREERE 1$ 5 E uk d (adaptive filtering) AR, TE 
在 后 而 式 (7.2.94).(7.2.95) 中 给 出 的 算法 , 我 们 可 以 把 这 类 算法 
变形 为 线性 回归 函数 的 随机 逼近 算法 ， 但 此 时 的 量 测 误差 中 含有 
递 推 估计 值 (如 (7.2.35)). 在 实际 问题 通常 所 要 求 的 信号 条 件 下 ， 
我 们 将 首先 证 明 算法 的 一 致 有 界 狂 ， 然 后 可 以 验证 上 述 的 量 测 误 
差 满 足 随机 逼近 算法 的 收 伍 性 条 件 42.4.3, 也 即 在 讨论 算法 的 收 
SEEM, 适应 姓 滤 波 算法 实质 就 是 随机 逼近 算法 的 特例 ， A 
一 方面 ， 量 测 误 差 中 含有 递 推 估计 又 使 得 我 们 在 讨论 适应 狂 滤 波 
算法 的 其 他 渐 近 和 性质, 如 收 伊 性 的 充 要 条 件 ,稳健 性 ， 渐 近 正 态 狂 
和 渐 近 有 效 和 性 时 不 能 直接 利用 前 看 第 2. 9. 4 章 的 结果 , 但 我 们 将 
仍然 采用 与 前 儿童 类 似 的 方法 来 处 理 适 应 性 滤波 的 这 些 问 题 ， 忆 
正 因为 适应 性 滤波 算法 的 这 个 特性 ， 在 讨论 算法 的 渐 近 正 态 性 和 
渐 近 有 效 性 这 样 的 随机 性 质 时 ， 与 随机 下 近 算法 相 比 在 技术 细节 
上 差别 更 显著 些 ， 限于 篇 幅 和 为 保持 全 书 内 容 上 的 一 臻 性， 我 们 
在 本 章 上 只 讨论 步 长 因子 趋 于 0 的 适应 性 滤波 算法 ， 将 讨论 算法 的 


ic att 步 长 因子 为 人 名 | 时 算法 收 合 性 的 充分 必要 条 件 及 稳健 性 


$7.1 Box i89 


FAH BL ESE Ee XLEATE, 平行 地 给 出 与 第 3、4 音 内 容 类 
似 的 各 和 结果， 这 一 章 的 主要 参考 文献 为 [17，38~36，66，92,， 
94, 99, 100, 104, 106], 


$7.1 最 小 方差 线性 滤波 


设 有 两 个 可 哆 测 的 随机 阵 序列 1y,} COR tp.) cR". 在 
雷达 和 通讯 问题 中 ， 它 们 可 能 分 别 来 自 适应 性 阵列 处 理 的 输出 信 
导 和 参考 信和 号， 在 线性 系统 的 参数 估计 中 ， 它 们 又 分 别 为 回归 了 距 
和 系统 输出 的 观测 数据 .我 们 希望 求 出 一 个 最 小 方差 线性 滤波 阵 
s 4 

a'-argmin E(z*w,—V.)(s*y,—,)", — (1.1.1) 
在 实际 问题 中 常常 可 能 对 滤波 阵 有 如 下 约束 ， 
oO, CER", 6c gn" (7.1.2) 
d — SSP ARR, 30 .1.2)*f c ARES AE EA 
|^ Q(0*0—0, BR, XELC0-—0, 6—0, (7.1.2) 3C BOR T 76 2L 
的 情况 , 也 就 是 说 ， 有 约束 情况 是 无 约束 情况 的 推广 ， 因此， 本 章 
我 们 内 讨论 有 约束 情况 . 在 信号 处 理 中 ， 对 有 约束 的 适应 性 滤 
波 和 通常 称 为 适应 性 波 来 形成 (adaptive beamforming) (参见 文献 
[171). | 
在 本 章 中 , 一 直 设 4 和 好 为 平稳 序列 , 并 记 
D, GST. 
由 平稳 性 及 矩阵 对 和 角 化 方法 ， 
Ey,y; Egyalz 
Ey. Ed. 


2-(,) 


Ey,yr-HH'*, Ey jz- HE”, Ebapi—LLÀ, (7.1.4) 


ED,Di- 一 RR", (7.1.3) 
( ) 


KH RITES ARE 


使 
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下 面 ， 利 用 量 阵 协 北 的 性 质 和 配方 法 将 给 出 在 约束 (7.1.2) 


PHEAC. LIJ w ,好 最 小 方差 线性 滤波 阵 . 
AAT 1.1), 0"w=B"”, 再 由 定理 1.4.8 AT oc BO ERES 


2—Q**d* 4-(I—Q7*07)g, (7.1.8) 
Ht y HERRERA. HRXSI(CO»-C007, 
QT'*Q*-0**0* = (00) T= C0", (7.1.8) 
Bic 
P-I-OOC*. (7.1.7) 


WES CT 1.5) 
a—0*"d* + Py, (7.1.8) 
于 是 由 式 (7 .1.1)、 (7.1.4), (7.1.8980 $ 7.2 p (7.2.9), 
(7.2.4) 4, 
min E (m9, — d.) (D Ya — de)" 
= min E[(G0* TY P)y. - pa] [BO + P)y, — Wal” 
-min E[y* Py, — Oh, — B0ty,,) ] Py — (n — $0*y.)* ] 
=min [E Gb, — $0 *9,) (dr, — DO tY" 
— y" PEg, (de, — $0*9,)* 
—E(y,— 60O*y y Py ty PEy y Py) 
—-min[g* C (LH* DO H H)P(PHH*P)*]PPH H"P 
[47 - (LH* - 60 H H') P(PHH^P)5]* 
TE lr, — DO*y,) Gp, — QO* y.) “一 (LH* 
-C H H')P(PHH^P) P(LH'-o0C* HH”), 
(7.1.9) 
BR, mx .1.9)51 
y= (PHH’P)*P( HL? -HH*0*t8")+Z, (7.1.10) 
Ht Z WERE 
Z'PHH'PZ-0 
的 阵 ; ETE d (7.1.8) An 
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2 -QUD-PUOPHHE"CP)U'POHIC-HH'"OUO»4PZ, 


(7.1.11) 
4 RATA, BU O=0, B=0, 
a =(HH*)*HL* +Z, (7.1.12) 
HP Zz 为 任意 满足 
Z'HH'Z-0 
FRE. CH HH" SE ay RY, 6" 只 有 了 唯一 解 
o* = (HH)HE, (7.1.19) 


Zie EAC 1.11) (7.1.18), By T JUI EE DU T Re 
方差 线性 滤波 阵 ， 在 下 一 节 , 还 将 证 明 
P(PHH'P)'*P=(PHHA'P)', 
ii ay BR (7.1.11) % 
ep =O'TO'4 (PHHP) HI" AAO) + PZ, 
(7.1.14) 
+711 上 述 结 果 还 可 以 推广 到 一 类 非 平 稳 的 信号 情况 . 设 
XXL .1.3) 中 及 的 定义 不 变 , 但 有 
ED,D:— m,RR*, m,>0. 
因而 
Ey y= mAH", Ey; —m,H L", Eh = ma D0", 
(7.1.15) 
易 见 , BART L AD RA 1.8) ~ (07.1.90 OR, 仍 有 式 
(7.1.10) — (7.1.14) gf st. 3x b LE HA EESTI ID Ro E 
LARERE 都 仍 有 不 变 的 最 优 加 权 阵 ， 这 在 实际 问题 中 显然 
是 有 意义 的 ， 在 [104，106] 中 ， 针 对 这 类 非 平 稳 信和 号 分 析 了 算法 
fy 28 We OLE A A SERE. 但 在 本 书 中 , 为 记号 上 的 简单 , 我 们 只 讨 
论 平稳 信号 的 情况 ， 然 而 要 推广 本 书 的 结果 至 式 (7.1.15) 并 无 本 
质 困 难 . 
37.1.2 一 般 来 说 , 式 人 7.1.14) 给 出 了 由 人 ”组 成 的 集合 ,但 
在 实际 工程 中 , 人 们 常常 假设 BAY 非 奇 异 , 由 式 (7 .1.10) 后 z 的 
定义 可 得 PZ =0, 于 是 , 我 们 欲求 的 最 小 方差 线性 滤波 阵 为 
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s'-0d CL (PHHP) CHI! -H H*0809). 
(7.1.16) 


$7.2. TED PE UB ie AE RAE 


EET, 已 给 出 了 最 小 方差 线性 滤波 阵 的 精确 表达 式 
(7.1.16), B or HE 和 AL 一 般 并 不 始 道 , 直接 计算 r 是 不 
可 能 的 . 即 司 可 以 利用 信号 的 平稳 性 来 估计 这 两 个 阵 ， 当 信和 号 的 
维 数 较 大 时 , ASEM, BATRA. TH, 
在 实际 问题 中 ， 人们 不 采用 这 种 直接 佑 算 的 办 法 ， 而 是 利用 不 断 
得 到 的 信号 去 递 推 地 估计 2", 考 虞 如 下 的 适应 性 滤波 算法 . 

$,41—7 O70 A P[s,- a (yb 7 9452.) ], to= OOD", 
(7.2.1) 
其 中 {6,} 为 正 实数 序列 的 步 长 因子 . 

为 了 便于 分 析 算 法 (7.2.1), 我 们 还 需要 对 它 作 一 些 变形 . 

不 失 一 般 性 , 可 设 PH +0, SER ASEC 1.14) at Ott, 
不 需要 任 柯 算法 ， 记 工 (A) 为 阵 AWARKRHARTSA, # 
F 的 列 向 量 为 上 (C0C) 的 直 交 规范 基 ，s 的 列 向 量 为 LLPH) 的 
直 交 规范 基 . 由 于 从 

O'P-0*—0*OO* —0, 
& LO) 1 LOPH), i m 
ViV.-0 (KERAHE). (7.2.2) 
BPR ETE V a, EPL iV F 22 3 CAE ER. 
由 下 :的 定义 知 , EPH 的 满 秩 分 解 如 下 
PH-V,K, KK7>0, (7.2.8) 
Htm ch fy x fk CGE 1.4.2, 2)) 
PHH'P-y,KK'"V; (PREP) = Va KK Vy, 
(7.2.4) 
于 是 由 L(0) LEPEH), V: EXMA. 1.6) (7.2.4), B 
P(PHHE'PYP=(PHA"P), (7.2.5) 
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此 即 式 (7 1. 11) CEP LOT .1. 考 ) 的 根据 ， 
Xi, C AB AERE AS RR, 
C=ViKi, KKI >O, (7.2.6) 
dB $143BPEDIES AH 1.4.6), 
O = KKK) AV WV 1) Vi, 
Oct - VAiVt, (7.2.7) 
Bh (7.2.7), RES 
P={[-CCt=[(V.V.V3] (Vil Fa] -00t 
=F Fitt eB s-CC*=VVi+V Vs. 
(7.2.8) 
注意 到 
ViH-Vi(P--00*)H-ViPH-4ViOO*H-0, 
Bir LOC .2.8) 07.2.4), 18 
PH=V VGH, Peska ViIP=VE (7.2.9) 


PHH"P(PHH"P)!H-PH, (7.2.10) 
以 上 矩阵 等 式 将 在 以 后 用 到 . | 
Bm 07.1.8) 81(7.2.1) , HEA 20, HC D, FRB 
S= Pan S*=P2", (7.2.11) 
可 得 
St=at(I—CCt) =a,—-@C*, S'—-a'- OG", 
(1.2.12) 
B (1.2.1), (7.2.11) 80 (7.2.12)48 
S am Sat as P subs Yaya Sst CO TET), 
So. (7.2.18) 


出 于 
EV;iP Vals t V. 3720, EV iPyy,P V1-0, 
鼓 
ViPy,-0,2.5., VF iPy,—0, a8. 
B) Py E L(PH), S Bx .2.139)58 
S,cL(PH), as., 
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FATT RE n0, EE Bg pg QC RETE. [rfl S. Vaga, 3X 
E B A, (E .2.13) 可 改写 为 
F Qnr VT P[yal-—uygzs(V Qn + OTTO) |, 
(7.2.14) 
iX SAO 2.9) Phy PY 2—V s 因而 有 
Qui Qa Y EP [ybi — yas V on + OF 7B" ) | 
= (I n PYA V 2Qn 
aV RPwubi—giC d") 
= (Í Ainin) Qa + a,0,, Qo= 0, (7.2.15) 
其 中 
z.—ViPy, GaV EP (yale yO 7@O"), (1.2.10) 
Bis (7.2.3) A NL 


Ezz-KE0, (7.2.17) 
st (7.1.12) A 
2,= O78? - 8, - 0*7d? YQ. (7.2.18) 
Fe sR CT 2.4 18 . 
V.Vi(PHH*P)+=(PHH'P)*. (7.2.19) 


ES 此 ， Hh ost (7.1.16), T2ISMT.21ID RT (8 33 HT oH 
Q' 为 
=V (PHE P) (HL -HE0 4»), 
(7.2.20) 

Zit, RABE 2 Db a RAF a^ 的 问题 化 为 了 算法 
(7.2.15) p gg Q, ATF Q^ 的 问题 . 

HHRRENBK AE, FERRER T {o} 和 信号 
fy} Al Gb.) PURE AT .2; 


A'T.2.1 8,770, n> Ü, 3a, co, 
À 7.2.2 


Saugi- HH) difta, 
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Ma4I—HL iki as., 


iET.9.1 TEMES 2.3 中 所 说 ; 满足 这 里 假设 的 信号 可 以 是 
LAHR, 包括 了 工程 中 常用 到 各 种 随机 序列 ， 

Tits 12411 Se uE BR JL 1 8[ 8, 然后 再 证 明 算法 他 .2.15) 的 有 界 
E, Hua $2.4 Lyapunov AAY t it sr 881 38 BENE 
理 ( 参 见 文献 [106])， 

定义 


II i (I — UU) $ n2» £, 


Ux = | i (1.2.21) 


I, n-k. 
SE meen 0, BAA (7.2.15) 
Qnn- Q*= (I— ante) (Qn — Q") --an (Qs EnaA") 
=U m-i (Qa Q) + E aU i (Gs 2452"), 
(7.2.22) 
318 7.9.1 在 假设 A7.2 T, 


pa 6, 【全 一 zz, Q^) 收 Sx a... 
证 明 利用 式 (7.2.10) (7.2.16). (7.2.19) 88 (7.2.20), 可 
以 重 写 
> a, (G., = AA ) 


= Èa, ELP yapa yn OTT DT) 
— Py yiP(PHH'P)+( HE — HH*Ot@) 
+PHH'*P(PHA'P)*(ADL*-—HHA*CtS*) 
—POIOILL'—-HH*0**d»)]. 
MERA AZT .2 立即 可 知 引 理 成 立 . 口 
HskO.2.17 55 KE"-V"PHH"PV EEEE UA 
EK*BEMEB, 
2]38 7.9.9. 在 假设 AT.2 T, FFE 290, gA 1, AK, HE 
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mtn, T) —1 1 
il (I — agay) <1-> nA, Vn EK, a.8., 
其 中 m(n, 9) -maxim: > Gant, 
1 
B RE BS | Al 2 max(AC4.47)]7. 


证 明 ”由 于 本 引 理 为 a.s. 上 成立 的 命题 ， 因 此 以 下 讨论 均 对 固 
AER eo if Ej. 


对 任意 序列 人 {i} 定义 
m -n4-1 a 
HT (H) = pà nci c uen I HP, 
ny 
min, m)--1 sin, 一直 
Il (I—agg)-1I— pà ag 十 Hg m — aset), 
(7.2.28) 
min, n)—i min, i=l . 
Ho Grade Wnt $ alul Hr" Gal, 
(T.2.24) 
min,n)—1 
另 一 方 而 , Bem” S alul*/Qn(s, 2)—n), M 


min.58)—1 


m, )—1 | pa (1-ca; | gla mín,m-^ 

Il Gtel « moon 7 

a (1 Mn + (mn, ) —n)z 
十 Hemi (z) 


7i 


-14 7$ ale |? + HE"), 
(1.2.20) 


mit, ion 


其 中 五 站 人 名) = 2 有 2 
gia (07.2.24) 80(07.2.25) , RATT BB 
pH- ( — agp |< AI? Cala?) 
« Hymn (7.2.26) 
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1 
由 AT.2.2, 3818 [Al (tr 447)*, 可 得 
min,9)—1 
È alult—9 nE, (7.2.27) 
其 中 K-VPH, HER 
| Al max (.(447))*« | AL., 
Hg (9) « gem Saad/ mln 1) 70) 
tng)-1 
S3 aol, nto 


- (1 min, aon 


"KA, m)—1 k 
-( S ales?) —> - aeo 


-EL cust (1.2.28) 
显然 , 上 式 右 边 当 9r>0， 为 of 7) 量 ， 因 此 存在 9 和正 实 数 B, d 
HEO (2) « ah, n> kp, (7.2.20) 


由 AT.2.2, 我 们 还 有 
le awaj -nE K* «um Vuoi, (7.2.80) 


于 是 对 任 章 nz, 87.2.28). (7.2.26). (7.2.29) :0(1.2.90) 
得 


mn, m-1 (I | |: mtm -1 | 

— "c — 2 T 
| n Gy gu.) | >à Bye gh y 
+ | BRO Pl — ease) 


min, )—1 
gli- nK 7+ | 之 agaj- nk | 


HR (g) <1-< oh. M 
2:9] 7.2.8 在 假设 AT.2 F, 存在 9>0 和 加 ,使 对 任意 n 


ky 和 mmn , 7); l 
™ ^ + 
u (I— 0325) | <exp(- 5 a). 


108 iE eb ME BT 
证 明 MBH 7.2.2, 存在 9>0 和 和 对 任意 nek, A 


PACK AL ) 
(I — zr 


jan 


对 性 意 7 NN, 71) 和 nz, E X. To T xL, {Ë 
n= qm (e, 9) —n, «minus, 7) 


_i 
gU 


«1-2 0 «e (7.2.81) 


cnra «mm, H 之 acm. 


注意 到 S eor, iix (7.2.31) 


Ü -aeei |«H 


n,—1 
AL Gane) | 


<exp(~ $$ a), L 
有 了 引 理 了 .2.1 和 了 .2.3, 我 们 可 以 得 到 算法 的 有 界 性 , 
定理 .2.1 4RRAT2 4 x, Bh (7.2.15) 给 出 的 入 
a.8. -HE FF, 
IA ”我 们 从 式 他 .2.22) 出 发 ， 3859] HE 7.2.8, XE (EX 
hey, ACT 2.22) th DL BB moo THT 0. 
id 


m' = minh: X a<n}, 2 5 X 33188 7.2.2, 


Wz = wG, 


igs|38 7.2.1 和 7.2.8, YERA (7.2.16 30 (7.2.27 ) ES, 用 
A OK FUE A, 3 (01.2.220 6  SP — TRE FH] Ej FR 


^ 
>à (Ums -Umor WAHU mima a 
=t 


+ È aUn aeg) 


i 


< 2 [Varol larei HA Usual IW] 


+ € aU G+ eR) 


som +1 
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«ce[ Sew | — 0/2. Ža lagi 1 | 
(7.2.82) 
其 中 0 及 以 下 的 01 为 正常 数 . 
由 起 7 了 .2.3 BiB, 3 nz N, WH men, 


2 lagy | «sluts KP Qj C4, 
EX 
T Th 
p> a; > co > lazgi- es. 


Sexp| ~ (4/2) Ba: ass 

<D exp | — (0274/2) D lagel +es ase] 

«c; Sexp | ~ (cand/2) $y owesl lar 

«e | p C" dae cs (7 2,83) 


JT MR 2.32) $0 (7.2.98) MRR AR, C 
TH, RK Lyapunov we A RE WF 1 HY a.s. TÓC SX 
性 . 
定理 了 .8.8 在 假设 47 .2 之 下 ， 算 法 人 7 .2.1 和 ( .2.15) 分 
别 a.s. Weel TELA ATR o^ HQ". 
证 明 ”我 们 仅 证 明 式 (7 2. 1B Bs PE, AGRO .2.15) 知 
Qur = Qa KE K'(Q,—QU + 2,6, (0.2.84) 
eu (KE"'-—2z)0Q,—Q' )tG, - Sd, 
(7.2.85) 
xd, AE 21ID BA ERE uS T RE pH E85 56 SUE NI 
EE, HIPAA ER, H1 $2.4 的 已 知 结果 ， RUSSES A 
E (Q1, 条件 A2.4.9 ear, BARTS Qu —— Q, 要 验证 


Kroc 


raf) 
lim lim 5 ， = Gluyi.=0, VtC LO, T], (7.2.96) 


Toa Ec 
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Hz (7.2.35) 805|[38 7.2.1, 只 要 验证 


Mik, e 


lim lim 工 È al(KK"- ari) (Q-Q) =0, 


T—0 ka T 
(7.2.87) 
从 ÀT.2.2 Al 
minxy. t) 
EO" CEKU 0, 
x mine, t7 
之 nen tetr KK". (7.2.88) 


又 由 定理 7.2.1 81 @, 一 致 有 界 ， 并 注意 Qn, 的 极限 为 @， 从 
式 (7.2.84)、(7.2.85) 便 知 当天 -> co Bh, HAm mime 
MC 5) 
IQ, -91.- 0), (7.2.89) 
d BE Bes (7.2.28) 7 
lim lim L| $5 a KK*—227)(Q-Q |. 


mkv d 


3. a(l E i+ [81820 0) 


«lim lim 工 


T=] p T 
= lim 7; GIE [2-487 K K*)0(0) <0, YiE [0, T], 
EBRA C7 .2.87) Rar. APL AA eH 2.4.1, @ 
QR as. 口 


现在 , 我 们 进一步 考虑 算法 的 强 收 敏 速 度 ， 为 此 ， 我 们 需要 更 
AT.2.8 di Aq — 6220, 


AT.2.4 存在 正 数 5<1， 3< 之 ,使 得 
Bayyi— HE") a.s. Wr $i, 


Sar (ye HL") as. 收敛 
7.9.3 在 假设 A7.23.1~A7.2.4 下 , 算法 (7.2.1) 强 收 
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化 速度 为 
jo, — 2" | =o (af), 
证 明 HARE I-I =o, AAMT .2.22) 
出 发 ， 为 书写 简单 , 记 
X,—Q.—Q', & —G, — 2, z;Q". (7.2.40) 
BB (a /0,0* 的 Taylor BX, 问题 化 为 讨论 


Meere 


nti Du 1 


X n T X. 1-l ) 
(a Ü rZ nZs aj + 08 B, 


X X = 
- 5 a£. Ta- OE + AI " 1-3 * e 
P Gn Enta e ) ta En tage 


(7.2.41) 
是 否 收 化 于 0, 其 中 eu o5. Hp AT.2.3, AT.2.4 M3 E 7.2.1 
岛 知 它 们 满足 


= 1-4 
0, 0a.g., 2h 8, WB, £,——» 0 a.d., (7.2.42) 


iu 
EES =g —(o—e,)I, EE*—-EK*-—o5170, 
(7.2.43) 
用 
[I (Ta,B), n, 
Taye ii (7.2.44) 
I mk. 


WARK (7.2.21) 85 Uni EB 0. ——> 0, MIIE 7.2.2 类 似 地 可 
证 , 对 充分 大 的 n | 


[U menm- 17 A, (7.2.45) 


Ap AUN EE 的 最 小 本 征 值 ,这样 , 照样 可 证 和 引 理 7.23.3 RE 
理 了 .2.1 SMR, 因此 Anrh AA, 
xd 
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Oar, Enri= (EET — eye) Qu en/ Ont Es. 
完全 和 定理 7 了 .2.2 类 似 地 可 证 Qa 一 -> 0 ass. 口 

为 了 使 读者 对 算法 的 收 襄 建 度 有 一 个 具体 的 印象 ， 我 们 在 下 
面 的 推论 中 给 出 一 个 例子 . 
#721 dB 4, 一 二 ,信和 号 是 平稳 的 , H 
yayi = H7 rw, Biwi ite + By wy te, 
Yale = AL tty tO Wyte tO te, 
其 中 1 Bl<ejmy，?7> JONS c/n, B», wy Mu LAUR 


2 
差 序 列 , 满足 
了 (na 多。 一 E(u du F a) =(, 
EC fwa F <e, E fim e. 


此 外 ,还 设 引 理 7.2.2 v Ae WA 
J2,-2*|=0(,), v<}. 


证 明 OSA. (vH A") lige ~— HAL N 
eA 2.3.1 中 的 条 件 , 因此 
5 L (aa — H.H*) a.. WS WO<8<, 


Æ nl 


$l (ugp-HH*) as WH YO<d<d, 


tm] NM 
显然 对 4, 一 二 ，AT.2.1 和 A7.2.8 也 成 立 , ERE a 1, f A> 


a=, 子 是 由 定理 7.2,3, 本 扒 论 成 立 . Ci 
Hxc PIE a, SST ERA eR a 


不 超过 Jj SRNL RS. 所 以 ， 虽 然 这 类 步 长 因子 训 
减 到 0 的 适应 性 滤波 算法 具有 算法 简单 , 大 样本 性 质 好 的 优点 , 但 
也 有 收 伍 速 度 较 慢 的 局 限 , 在 某 些 需要 高 速 实时 处 理 的 问题 中 , 人 
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们 需要 考虑 别 的 算法 , 如 步 长 因子 为 一 个 小 常 值 的 算法 , 有 兴趣 的 
恋 者 可 参考 文献 [46, 55, 02], 


$7.3 一 类 步 长 因子 下 强 收 和 敛 性 的 充 要 条 件 及 稳健 性 


上 节 分 析 了 一 般 的 步 长 因子 (定义 如 AT.2.1) 的 得 应 性 滤 


对 ，4>0， 讨 论 算法 强 收敛 的 充分 必要 条 件 ， 我 们 采用 不 同 于 上 


节 的 先 证 算法 有 界 性 ， 再 证 算法 收 敏 性 的 方法 ， 而 是 直接 分 析 获 
得 算法 的 站 伍 性 ， 最 后 得 到 相当 稍 单 的 充分 几 要 条件 , A BUR 
M (yug T 满足 大 数 定律 , 则 适应 性 滤波 算法 强 收 伍 的 充分 必要 条 件 
A (yb HUI RE RR. 

此 外 , 我 们 还 分 析 了 这 类 算法 强 收敛 的 稳健 性 问题 。 结 果 是 ， 
aR Lynn ETE UII 大 数 定律 并 不 严格 成 立 , 而 在 在 小 偏差 时 , 算 
法 对 真 值 也 存在 一 个 依赖 于 前 者 的 偏差 上 界 ， 当 前 者 趋 于 0, 后 者 
也 趋 于 0. 

Fi, 先 给 出 本 节 需 要 的 假设 : 


AT.8.1 lim = P SywiP-PHH"P, a.S., 
n j= 


AT.3.2 lim — P Sy PHI, a.8.. 
- BAR, AT.S.1 A AT.8.2 8€ AT.2.2 Bf, HAE 7.2.2 成 立 ， 
i) 8 329138 1.2.6(Kronecker 9] £85, HA AT.3.1 ftl AT.3.2 p 
X. 

ut—2p, nx iyibpW yai IE DYB OE T 
有 如 下 偏差 ， 


AT.8.8 lp S y;P- PHE* Ps, Ja] «5, 2.9. m N, 
=] 


AT.3.4 Z P S ypj PHL +, |n. | «8, a.8. nN, 
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其 中 8 ERES ON 可 能 依赖 于 抽样 点 ， 将 讨论 算法 的 稳健 
性 . 

本 节 所 讨论 的 算法 为 


0,417 0 * T D* TP | m+ (Unb yin) |; m= OF FBT 
(7.3.4) 
和 上 节 一 样 , 仍 从 (7.3.1) 的 如 下 变形 


QnQ =U mQ =Q) + 22 5 UnA"), Qum 
(7.3.2) 
出 发 , 其 中 en Gy 定义 如 式 (7.2.16), Um 定义 如 式 (7.2.21)， 只 


是 其 中 的 a 一 


正如 定理 7 了 .2.2 证 明 过 程 中 所 表 其 , 算法 (7.3.2) 可 化 为 由 式 
(7 .2.34) 和 (7.2. 中 ) 所 描述 的 随机 通 近 算法 ， 类 羽 于 定理 3.4.1 
我 们 有 如下 定理 , 

Em 7.9.1 we A7.3.1 mh, 则 算法 (7.3.1)a.g. KARA 
w" 的 充分 必要 条 件 为 A7.3.2 成 立 ， 

ZA ” 仍 从 竺 法 (7 .3.2) 出 发 

(i) 充分 性 当 上 7.3. 工 成 立 , 先 证 明王 面 两 个 引 理 ， 

5138 Y.3.1. ip A'T.3. LZ, 存在 ?>0， 9131 K y 使 得 
X HEX nEn mmn, n), 


m a : mn , 
I(r- Bes )|<oxp ( — 22 a/ j). 
证 明 ” ”类似 于 上 一 节 的 引 理 7.2.3 8] ur Bj, RiR EHE 
ATIL 之 下, f£4E 0770, AcLA k, BAW ER nom E, 
min) 一 二 a » 
i (1-4 eu )<1—ma/2, (7.3.8) 
类 似 于 式 (7.2,38), 这 里 仍 有 
UB {I — F FF )Ó:- $ 7 £425 + Hyon — Z3; ). 
(7.3.4) 
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id 
m(n.n)— 
W.-( * Sau). (7.3.5) 
显然 ,在 上 式 右 端的 展开 式 中 车 只 取 3 sj ARR ig ot, 则 


Wi 2d! at as [Pe esd? . ^ 
° setis fint AijeA ' (7.3.6) 
FR ART .2.26) 7.3.6), 我 们 有 
moa, m-f st minm—1 f Qa, ase wg W, 
| z; ( 7 )|sz: (3 lzi )« —- 


-2 31 
(7.3.7) 
iu 
S. 21 2425, | (7.3.8) 
注意 到 |4 上 所 这 44", 并 应 用 分 部 求 和 法 ， 
qmüin,n)—l a | |: mn,n)-1 a i g S 
zi jn = zi 3 r(S,— 85-1) 
—ir ib: —2 sg 
Me Ke 
a g 
Uia ai S etn m)-1— n—1 tr S, 4. 
(7.3.9) 


由 A7.3.1 4, lim B./n— KK", AME a>0, SE no, 
{i nno, 
atr( Sn — K K*) 


<5, CE ~KK*) 


«8, 
a 1 
-IKE |< z8. (7.3.10) 


从 式 (7.3.9) 和 (7.3.10), 32€ EL A] ir A A", 


Go oir ERS) $5 - 14-98 
Sue KES) 3, 


«(ir K K7-r-8) 2-20, (7.3.11) 
«A SRO.3.5), 07.3 7) (7.3.11) 18. 


min.ni—l1 


jzn 
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mn,7) n 


| Eee- (74 za )« s > J (altr KE" 48) +28) 


« (nitr KEK? 4-5) +28) g TEE ++ (7.3.12) 
我 们 可 以 选择 ?和 5 足够 小 ,使 得 

(nite K E” +6) +25)2< 14/9, — (1.3.18) 

(q+ 8) 74/6, (7.3.14) 


于 是 从 式 (7.8.12) 和 (7.8.18) 
[He (-5 ui )|<3 Ae $ nh. (7.3.15) 
PLE RAN Eder CT 8.4) A BIO. ASR (7.3.9), 


min,m—1 "mn, 了 4 一 2 
s 205 = _ g ;+—_—_* 
r j (a1 JC 9 +1) min, 9)—1 


u un 
— Bu © (7.3.16) 


WE SR C7 .3.16) (7.3.10) #1 (7.8.14) 


INE 
" 


È mtn, ny-1 


min,n]—2 T S 
MA jl) | 


KE] 


jg 787 nK K” |< 


a 
z= 


min.) —1 
OUS S KK 


1=n 


= 
i z 
Oa Susa akK | 


mn, 2)—1 
I mn, n ta Dy 1 : | 
j (Gs 1 KK ) 


+8+84+ 8< 46+ 88«z 74/6, (7.3.17) 
wee UL 3.4) (7.3.1) A(T .3.17), 我 们 有 


dl (I — 5 ZI, ) 


mint g * "min,9)—1 TY 
«| S © a5 —n KK + | (- Sza) 


fan 


4- pum Si-a kK K*|« 
n—1 


<|I-nKK"| 


«i- vec gU L—5 m. (7.3.18) 


注意 到 式 人 .3.10)， nb tr(S,— Sy) «285«1, 于 是 


f .-Bf ..m 


orco 
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“jon, | 175 ee} | «1, 然后 由 式 (7.3.18), AMT LA 
3 7.2.8 的 方法 , EA SD RL, " 
MERO 
IU il ( 4) : 
证 明 由 引 再 7.3.1 
(Uml exp - 2 


j-h 


如 
<exp| (log n—log(m+1)44}<(_*..) i ， [] 


我 们 继续 定理 7 了.3.1 AER, ask (7.3.2) 9] AD 
[Quai Qm IU AW-MQ QU 
[S5 7.62 *) |. (7.3.19) 
由 引 理 7.3.1， 上 式 右 端 第 一 项 对 任意 固定 的 %n, BU m EST 76 23 m 


BFO, Am, 为 证 明定 理 的 充分 性 , RD EOS LÀ. 
id 


T, 3 (8, —2,5Q"). (7.3.20) 


Bi (7.2.16) p C A MR AT 3.100 A7,3.2, RUE d A 
7.2.1 容易 得 到 


lim — $1(G)~2¢3Q") =0, 
A m SE OO, FE n4, 25 n9 m1 时 
zT. <8, (7.3.21) 
应 用 分 部 求 和 法 , 我 们 可 重 写 式 (7.3.19) 383 48 — 
| $5 OG 200) | - | BS Uti i2 


wy (Uni; Umi 8 
-| > j--1 ^s Ummm 


s=n- a 
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m-l 
E A8 (I n = ina) / ) 
a 
I | Uma Tm — Unnid ni | 
"A & "treater msi s | 
一 一 一 一 二 一 一 | 十 26 
2, a(9+1) 


一 一 一 | U mial 


U mnt 51i 


a 
—i 
_ 1 
了 ?十 1 
| 世 ; 8U mirad" 
sj 2, MEA 


MM x 


à 
9-1 


CAE 
m-1 
+S) g llU] ) +28, (7.3.22) 


I 

现在 , 注意 到 4 的 任意 性 ， 为 完成 充分 性 的 证 明 ， 只 需 证 明 上 
式 揪 号 中 的 两 项 一 致 有 界 ,由 引 理 Y.3.TI 或 .3.2 容 易 证 明 , 括号 
中 的 第 一 项 一 致 有 界 ( 在 第 3.8 章 中 已 多 次 过 到 )， 用 类 似 于 定理 
7.2.1 中 的 处 理 方 法 和 式 (7.3.17) 的 估计 由 引 理 7 了 .3.2. 式 (7 .3.8) 
和 分 部 求 和 知 


1 

m-i e" j4-2 34 
S.A lel Unle $ x(q) T 

m-i 1 JU 

^O» eml lU 

jom +i 4 

m=i z—1 

> Gay? (tr Syy tr $5) +e, 


«(iy (S [C+ pri (j+2)? Yer S aa 
+(m—1) paci ir MEL. JAN (7.3.28) 
I : m-i 1 
Xp m =min | E ay j <n}, OAERE. 
青 利用 微分 中 值 公式 和 lim — l = KK, 就 有 


m—2 lyg- , EPPEN gs 
| È gtn- gaa (E) ws 


1 
< >) 了 — OSE 
P CD (I +2) (去) tr Sa 
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1 
m—2 lia. l,a 3 
«332-1 S ton P eges) PD ae es 


«2| K]: 


1 
gil 


I.a i g- 
OW Gt) | (jz290 77 1 
j=n—-2 m3 Ad] m? Aü—1 YYA 


«4|. [2 


Iag z-i 8 2 
L hg tfia da SIKH 


1 
^il. 
(7.8.94) 
BRAK (7.3.23) (7.3.24) AEWA BT, 充分 性 得 证 . 
(G) DEH B A7.3,1 威 立 , 8 一 > Q*"， 类 似 式 (7.2.15)， 
EA 
Quia = as m = ERMAR m Gn) , (7 .9. 25) 
Tn 41 = Then — Gau »— G,) 
= Qat (n m Q9, 一 Gg gea —G,) 


-$ Q-a 2 eei 8), (7.3.26) 
we 
= erja) +0, (7.3.27) 
现 往 证 
[seite - 0? l6. (7.8.28) 


h FOO, FA A7.3.1 成 立 ,对 任意 。>0， 定 存在 m, 
使 得 当 nto 时 


IQ. Ql. 8, (7.3.29) 
1S jni (7.3.30) 
Tb j=l 


于 是 


#10 Me Re ae MTE 


1 us 5 2 
元 pon, usq Q* |. 2|K]?- Arar Sm 8 


且 对 这 个 Thy y 存在 Ne 当 Tia 时 ， 
lY 12,121 eR" <$ 8, (7.3.22) 
再 从 式 (7.3.80 和 (7.3.92) ,对 全 NEN, 
SAAR 
MK (7.3.28) p sr, AER 7.3.27), BUR 
= SegiQ’-G)— 0. (7.8.89) 
类 似 于 上 节 引 理 7.3,1 的 证 明 , 我 们 可 写 
x SY(2i25Q"— G4) 
== Vil PygiP (PHHP) (HL — HH*0**87) 
-P (yai yo 79") -PCHL* — H HOt) 
-PHI'P(PHH*P)'(HI" HH'0**97)]. 
(7.3.94) 
而 由 A7.3.1 和 上 式 , 以 及 式 (7.3.89), 可 推出 


1 n 
P Vor 2Xyabi 一 好 了 一 0. (7.3.85) 


HERA, PycLOH)mVisgXA LUOPH)B— Ae, 
此 Py;=Vek;, PH =V, RA LAR 


LSE yj- KLU- 0, 
因而 
Po- H1*)- 0, 
B] A7.3.2 成 立 , 必要 性 得 证 . t] 
定理 7.3， LARTHEKISTAS ] 时 算法 (7.3.1)a.s. 收 
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SA EAR Sete, BAERE ARRE. 实际 问题 中 常 
RHA RH ERAN ASE Bee, Bk, OF A7.3.28 和 
ÀAT.3.4 成立 时, 算法 的 稳健 性 问题 有 重要 的 实际 音义 
Sf A&7.3.3 和 和 A7.3.4 中 的 8 刻 划 了 信号 与 严格 移 a.g. 收 
SERS RAE, ROR REST, 我 们 希望 知道 
为 保证 算法 不 发 散 , 这 样 的 偏差 容许 范围 多 大 ; 算法 与 欲求 的 最 小 
TERRAZARA S 下 面 的 定理 将 回 管 上 述 
问题 ， 
定理 ?7.3.2 RRR AT.IS.8 和 AT.3.4 成立, 面 且 其 中 的 
1 A 
<min (>, à, — ar) RE HE” 的 
— (a av( 25-56 tr KK" ) tA 
阶 数 ， 则 算法 (7 .3.1) 有 下 面 的 渐 近 性 质 . 


lim supie,—2"||<c1e  a.s. (7.3.86) 


其 中 的 co: ERRATE D, HA, OMBR Jos EBD 
单 , 这 里 未 写 出 具体 表达 式 , 但 可 从 证 明 过 程 中 酒 出 ， 

证 明 ”为 得 到 (7.3.36) 式 ， 一 个 关键 点 是 分 析 偏 差 8 应 小 于 
什么 上 界 仍 有 类 似 于 式 ( 人 .3. 有 的 不 等 式 成 立 ， 我 们 仍 从 式 
(7.3.2) 出 发 . 

BAR, 4EAT.3.9 和 A7.3.4 下 ; 类 似 式 (7 .3.34) 

ltr Snan ir K K*|« ltr Vie, 2|< | tre, | «veo, 
(7.3.87) 


p 
TL 


- |= EG 
«Vale, ll + IV el bral + Ial hel or 
« O98, (7.3.88) 


其 中 ”显然 大 于 等 于 S. 的 阶 数 ， 而 5, 和 T. ELMAR (7.3.8) A 
(7.3.20) RR, 于 是 类 似 于 式 人 -3.9 一 人 312) 的 推理 , 并 用 are 
REA G.3.12) PH 9, RNA 
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| He (- 5 caf) |< enim Keane oc yere. 
(7.8.89) 
同样 ， 类 似 于 式 (7.3.17), 还 有 


TH ot 6 = + 
Ge KE « are(n +8) (7.3.40) 


fon 
PEG HY 3.4). (7.3.29) A(T .3.40), XEFE .3.18) ASHE 
Fo 可 得 


mim g=] y 


(1 — «i | «1- 0-rare (n2) 


jin 


+ (ntrEEÉT-rarz(n4-2))?g"tER tar (7 3 AT) 


由 已 知 条 件 , ec min (^, oe 


e< 2» 


ar( 22-8 tr KK 415.) 


Ay W, 
2A/ars^ --BA/areir E K "-HSare-/arà-4- s are ch, 
(7.3.42) 
FPR (7.3.42) AR ore 后 经 整理 , 可 得 


/are—2are Bare (4, ) 
mK iar” hore”? Gre« min A 


(7.3.48) 


TERNA An- (Sas Pare.) m, 


bare /are—2 avra 
i-as < RKE o 000340 
进而 
bare 


ir K K'--unrs--2araY < are 一 一 -一 一 


(7.3.45) 
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因而 


BEET ars o2) Vare cored, (7.3 46) 
FALO.. AM A<tr AK, RNA 
or CU RE KT am Ck am 
因此 
O<in (A — arse) —Bare<1, (7.8.47) 
He OR (7.3.41). (7.38.45) (7.3.46 0 (7.3.47), 有 


mik, n) —1 


jon 


(175 gg, )| S17 maare (n-- 8) +2are 
=1—7(A—ars) +5are<1, 
(7.3.48) 
E33, Bid en (A — are) — baer, 则 
tif n —1 d 4 
DH (1-5) 
现在 注意 到 陈 人 7 .3 ain 3.98) sk (7.8.18) FC7 3.21) Bt 
应 性 ， 以 及 其 中 的 T LN 和 cse 分 别 对 应 于 前 面 的 入 和 6， 完全 类 似 


FAC .3.18) aC. 24) 的 推理 和 演算 ， 可 以 得 到 如 下 的 不 等 
式 和 极限 


<t-a<t, (7.8.49) 


mi (Gy R) | 


« ese (t+) (et 2 a epit) 3 Aa 1| 2s 


OE, 
[Uns (Q7 9 arom 0. 
Xx tL, VLA 2 sg EIL. C 
TERE, RAH T RAT fe 28301 f] i TA TCU 
MERRER e 的 数学 描述 .但 是 读者 容易 看 出 , 这 里 s MLA 
和 算法 渐 近 储 差 上 界 都 依 束 于 定理 推导 的 实际 处 理 , 因此 , 这 些 上 
界 是 可 以 改进 的 ， 
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$1.4. 均 方 收敛 与 渐 近 正 态 性 


在 前 两 节 中 ， 我 们 一 直 是 在 几乎 处 处 的 意义 下 讨论 算法 的 大 
样本 性 质 ， 在 本 节 , 我 们 将 在 均 方 意义 下 给 出 算法 的 收敛 性 , 进而 
得 到 算法 的 渐 近 正 态 性 这 不 仅 具 有 理论 上 的 意义 , 而 且 有 重要 
的 实际 训 义 、 因 为 当 算法 经过 某 种 正则 化 以 后 具有 崭 近 正 8 性， 
就 可 以 按 实际 问题 的 需要 作 统 计 检 验 ， 如 可 以 在 小 样本 情况 粗略 
地 估计 算法 在 某 个 偏差 范围 内 的 概率 ， 在 这 一 节 我 们 就 将 分 析 适 
应 性 波束 形成 器 类 算法 的 渐 近 正 森 性 . 据 作 者 所 知 , HS RAL 
推算 法 的 渐 近 正 态 性 问题 都 已 得 到 研究 , 如 随机 逼近 算法 ( 见 前 面 
$3 4 章 )， 最 小 二 乘 算法 ?so 的 这 类 问题 已 有 丰富 的 结果 ， 但 
是 , 对 适应 性 滤波 算法 , 特别 是 对 适应 性 波束 形成 器 算法 所 得 到 的 
渐 近 正 态 性 结果 较 少 : 这 可 能 有 两 方面 的 原因 ， 第 一 , 在 随机 逼近 
算法 的 渐 近 正 态 性 问题 中 ， 回 归 函 数 的 线性 主 部 (或 梯度 阵 ) 应 是 
TER, 这 个 要 求 相应 于 这 里 , 即 要 求 PHHP WR, 这 在 阵 Ov 
0 时 ( 见 $7.2)， 由 于 了 阵 不 满 秩 面 不 可 能 ， 所 以 要 用 我 们 前 面 
的 投影 方法 把 算法 变形 ， 使 PHP 投影 到 LPR) 子 空间 上 ， 
cy VIPHHCPV, 再 在 获得 渐 近 正 态 性 结果 后 利用 Oramer- 
Wold 的 做 法 号 把 结果 变 回 到 原 算 法 ， 第 二 ， 在 适应 性 波束 形成 
器 算法 浙 近 正 态 性 问题 研究 中 ， 将 会 出 现 (7 一 KT) (Q,-Q") 
项 ， 这 对 应 于 随机 般 近 渐 近 正 态 性 问题 中 的 5(2,) —o(la, — 21) 
项 , 热 而 前 者 并 不 具有 008, 一 8 的 性 质 ， 这 也 给 证 明 它 在 渐 近 
正 态 性 问题 中 不 起 作用 带 来 了 困难 ， 后 面 将 会 看 到 ， 特 别 当 {sg 中 
为 无 穷 相关 序列 时 要 证 明 这 一 点 并 不 容易 。 在 本 节 中 ,我 们 将 在 
克 眼 这 些 困 难 后 对 一 般 的 步 长 因子 {asj 给 出 m. — 2 838 75 c |f PE 
和 (m, — 27) /Vas RUBE IE 28 A, 

现在 , eA 655 i CT 3 Jr CREEKS 89 4 E 


AT.A.l a0, da 0, On +1 — da 一 az 0, È h=, 


C9 
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AT.4.2 KK*~al 的 所 有 本 征 值 都 在 右 半 平 面 , 


ÀT.4.8. y, Wu, 都 是 FS. DH, 县 
sup EC ty? | F n1) «oo, supE ( |i. ||* F n- «oo, 


(7.4.1) 
SolEyw S n1) — HE*|«os, (7.4.2) 
SalE@silF D-H I<ca, (7.4.8) 
SNH cE AR OHM HER AAT rb PA AEA 


i. 

注 7.4.1 Ae AT.4.9 在 文献 [614, 941 中 已 经 用 到 , 并 不 算 
限制 很 强 . PEN yu: A} Aye HL" PASERSESIBI, x 
(1.4.2) 88 (7.4.9) KE AA SE, AKH 


SEG. HH, SNE sbi Fev) - AL 


都 一致 有 界 时 这 两 式 也 成 立 ， 而 这 种 情况 的 一 些 特例 在 文献 [94] 
中 已 经 给 出 过 而且， 在 后 而 讨论 渐 近 正 态 性 时 ， 我 们 还 会 给 出 
当 {yny5} 和 (vua 为 某 种 无 穷 项 滑动 平均 序列 时 ， 也 是 满足 式 
(7,4.2) ROC 4.3 AF. 

Swe 7.4.1 ERR A7.4.1~A7.4.3 F 

Elja. — a*l? =0 (4), 

证 明 ”和 以 往 一 样 , 我 们 只 需 证 ElQ,—Q*|?=O0(a,), 为 此 记 
X.=(Q,-Q)0, Ht bg B" 中 任 一 向 景 , BOWER, 车 证 得 
EX, |?=Oe,), 则 可 得 定理 成 立 ， 

， 由 式 人 .2.232) (7.4.1) ~ (7.4.8), TLR 
EX nga —X wh? | F a- eE Cah] K AEX al? 
+F iP ows -HH*) PV 2X ,|° 
+ Gal VEP wb wy 
4+-PV 2Q") 0 |?/F n1) 
«cas (t+ | X^. (7.4.4) 
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用 上 式 及 恒等式 lelt- iyi 729 G— 9) + la~-y’, 
EX, LUPIS) 
«2EQOL ua Xa) | Fea) +008 12-1] 
«2X: -aK EX, -aV iPE lyngi- HH" a) PV 2X, 
ta V iPE(yab-wyn(06*-- PV9"5|5 ., ] 
-- ea (1 - 1,12), (7.4.5) 
容易 看 出 , 如 果 没 有 上 式 右 端 花 括号 内 的 第 二 、 三 项 ,问题 就 
容易 解决 了 .为 此 , 我们 引进 两 个 抗 动 辖 助 画 数 ,使 得 | 芝 ")? 在 加 上 
这 两 个 辖 助 函 数 后 得 到 的 递 推 不 等 式 中 没有 类 似 于 式 (7.4.5) 中 
的 那 两 个 * 花 括号 内 ”项 , 同时 这 样 的 扰动 不 太 大 , 仍 可 导出 所 需要 
的 关于 |X WAR. B 
u(n, X) = —2R( 3i (X*a SP (uai - HH") PV 2X) |F a), 


(7.4.6) 
o(n, X) -2E( $ X aV EP (ypb 
-yai PV QD) a), TAT) 


由 于 XS aa 可 测 的 , 7.4.2 RG 
Iun, X2 ea] X1, (7.4.8) 
至 于 对 oln, X,), 我 们 有 


win, X,) -2 A OV oP 
SOHID—-HH"O0**4* —H H* PV 2Q")b 
+2X7E (X (aV £P (yul HLD F a1) 


L2XIE (3 (aV iPCH H* yy Ot GF n1) 


+2x5 E( > (aV PCH H* — yn?) PV4Q*b |.F 2). 


(7.4.9) 


Hi) Fst (7.2.10), (7.2.19), (7.2.20) By CL Fl 
ViPH H*PV,Q'—-ViP(HLI"—HH'O*'dv), (7.4.10) 
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At, 3&(.4.9 5: 38938 — D O, 再 由 式 (7.4.2). (7.4.8) 和 
|| X le, (LX, 1?) , 可 得 
|o (n, X,) [cea (L-- EX,ID, (7.4.11) 
现在 , 我 们 定义 
Wm, X52zl.X |*-4 utn, I +om, X). (1.4.12) 
FERIE 
ECW (nti, Xnr 7,2) -W (n, Xa) 
=E( |X na l’ Anl F na) 7 E(u(n--1, Xni) vi) 
—Etu(n+1, X, .7 a - E(u(n-F1, Xa) F n1) 
—u(n, X,)--E(o(n1, Anti) 1) 
— E(o(n--1, X,) 4, 9 - E(co(n- 1, X, |F n) 
—a(n, Xa), (7 .4,18) 
注意 上 式 中 
Euin i, An) F ya) —u(n, €, 
= 20,8 V EPE (ynya HH", PVaX., (7.4.14) 
E(w(n+1, 四 | .用 4) —o(n, X,) 
= —20 X V iPE(yaz5—ya(O*70* + PV of") 8 | F a), 
(7.4.15) 
EBRG 4.50 5 4618 9 ANS 2.3 项 , BPE SAR, 
BABU RKT 4.40 R3R (0.4.8) (7.4.11) ER, BU 
得 到 
E(X n XI VaRem OIX, (7.4.16) 
JE Gunti, X40 —u(n--1, X157 1) 


- [e [, Si Ga V iP Gut - HE) PV X na 
- Xia P(yyi— HH*)PV 2X4) | | 


- [E [ G«- X9 È aV iP Qui - H HPV AX Fa] 


+E [xs $ aViPQaj-H HPV AX aX 0 =j 
zT 
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S oma E (Xna Ent lAn 7 XT LX | F n1) 
+ECLX,| [Xari men] (F n10] 
Chele (1-4 | X41) +2ca,(1+ lD] 
ECan (1 + Xal eos Al), (7.4.17) 


其 中 最 后 一 个 不 等 号 是 因为 1— 4 ce dlar a) 0, 


On 
类 似 可 证 
|E[o(n-1, FD) olati, XD lF a]l 
« cas (1+ ll. 
Td BR 4.5) (7.4.12) ~ (7.4.17), RH LR] 
EW (n--1, Xm) — EW (n, Xa) 
« — 4,21 |X, |? Cai CHE! X, ||") 
« (— 6,244+-Cal) BI X, |? +ca?, (7.4.18) 
其 中 处 是 EK? BATE, He AT.4.2 41 21— 070, 
Hist (7.4.8) M07 4.11) 3 
— Ka, (1—ca,) LX, W (n, X.)<ca,+ (1 +ea,) 12, ||? 
(7.4.19) 
TEH n BAU ES (ea, 2o) , dis (0.4 18) ICT 4.19) 
EW nti, X,,0 — EW(n, X,) 


& (0,24 -- ca) EW (n, X, reat. (1.4.20) 
再 由 类 似 于 式 (7.2.48)、(7.2.44) 的 分 析 , IER 20 — 0-0, 可 得 
EW (a, X,) =C(a,), (1.4.21) 


MAR RCT 4.10), 立即 有 
E| Xal =C Can), 
EC E RR. 口 
为 了 获得 算法 的 浙 近 正 态 性 ， 我 们 还 需要 关于 {ow} 和 信号 的 
进一步 假设 ， 


AT.4.4 d 
Di ca «8. 48,0, 80, (1.4.99) 
n in 
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Yayi — H HT om Be, (7.4.28) 
i=0 


P (yapi — yaC- PS") = SC wy, (7.4.24) 


其 中 S" jg SOLE 07.2.12), Ceu, FA, 7.) 5 SIE R 和 
RU HERRAR LB} LC, a SEHE ESL ROTE S, Hi 
E(e,1.7 n- = E(co,].7,.1) —0, (1.4.25) 

pE (fel | F ,-1) «oo, SupE([o,1^].7,-1) «co, HE 672, 


(7.4.28) 
Eoo Fn) R as., (7.4.27) 
Wlol<oo, WilBl<co, (7.4.28) 


7.4.2 假设 A7.4.4 进 一 步 给 出 信号 具 有 如 式 (7.4.23) 
和 (7 .4.24) 那 样 的 无 穷 项 滑动 平均 序列 的 形式 ， 这 个 假设 并 不 与 
假设 A7.4.3 HEAR, 例如 同时 满足 式 (7.4.2) 和 式 (7.4.26}， 则 有 


S ah EGWI LS) — HH) 
= 一 a, oA Bij- 


REAR, |Bil|<e » , 72 时 , 是 成 立 的 , 因为 


< (7.4.99) 


Nu — d Ll 

P2 ar e. at qu. G (j--1—n)' }. 

故 
D| 5- Benqxe, (7.4.80) 
3-nlizji-1-n 


Hob, S51 B, «o E , n2, 显然 式 (7.4.28) 成 立 


定理 ?.4.2 在 假设 A7.4.1~A7.4.4 下 ;有 
(a, —2")/ A a. > N (0, 8), (T.4.91) 


RENO, SUR ROSBUOS ERES, BO ZEB S 的 正 态 分 布 ， 其 中 


220 i EHE EA H 第 7 章 
8 = f 6” 2 OR 2 Cre dt, (7.4.82) 
i= =) 
—-—PHH'P +5 PHH*P(PHH'™P)*. (7.4.33) 


证 明 我们 先 证 S.-H PLES. BART .2.22)% 
Quai-Q'—(O-a KE K*;(Q,—Q') 
ca KK*'—z:0Q,—Q^-rFas,, 
(7.4.84) 
其 中 
e= VEP a yy OB PS"), — (7.4.89) 
2 Wk (4.1.12), 我 们 记 


n 


».,- (i (1-4, ers al )), a 
; =n t1, 
(7.4.36) 
我 们 窝 证 
DVR Dn KK tmn (Qs— Q) 0, (14.81) 
从 A7.4.4 中 的 式 (7.4.28) 知 , 即 需 证 
Xi Vi DoVP È eo PV (Qe—Q") 7 0, 
(7.4.88) 
> af By 6, VIP Bie, PV :(Q,— Q-— 0. 
(7.4.39) 
而 由 定理 了 .4.1 引 理 4.1.2 $81 AT.4.4, HER Q EF n B] 
的 ， 


E | X VG, Dey EP 2 Be PV (Qa -Q") 


R m = 
< e Sol vesl*|72P RIBA) ElQ.- QI 


< e 3 tld ual — 0, (T.4.40) 


$7.4 M53 cis MEESE aal 


所 以 要 式 (7 4.97) BR SER SNO 4.38) ar. 
RNB BAT .4.38) 为 两 项 


> ~ ay, D n, PP B, (&y .,— — ex) PV (Q,— Q*) 


= > > A Oy à. nail RPB, (Bui — êr PY » (Q,— Q' ) 


+33 2 ^ dy Dy iV P Bilg- 64) PV 2(Q.— Q"). 
(7.4.41) 
MERRE 2): SR cd Q.=-0, K«0) 
» > i Gy DD, pia $P B 7 6) PV 2( Qs — Q") 


n 


OM D V r DreV EP Ber- PV (Qu Qt Qc QU 


一 > / By D, uu V EP Be, PV QR, (7.4.42) 


tsk (7.4.25) (7.4.26) 3058 P. 7.4.1 及 Schwarz 不 等 式 ， 
E Save D, V EP Be, sPV (Qui) 
DEUM " 
< Š (E| È at a IPBe PY: (Qi -9| ) 
«Sy BA( È aBn il? IV aPI* 


1 


| bi 
IQ =Q PE erl? 1-2) ) 


« C > 18. —— 9. (1.4.48) 
E| > > ^ dy (D, wat 2 Bey PY o( Qe — 和 jd 9. 


(7.4.44) 
RRT. A LARA HAG .4.4), Schwarz 不 等 式 
FIR (7.4.28), 


225 iS VEE EMT: mE 
E 之 2 ~ Gk Parl iP Be, PV a (Qy — Op | 


< XIB È alb eeil [VIP $ Eerd- Ql 


ne "n —. k-i 
= e 25i Bl ÈV a |, ea | PN a, (id a; —0, 10) 


1 
< v B >> his vw ke i 
i n k T — Goo 
c | | 2l aei PI A iC: j 0, 1<0) 


1 
= {+i (2-- 4)? ox 


(T 4.45) 
Be EU 4.42) (7.4.45) ROR 


de hn P 
e pa v, Aseo PB, (6. — ey) PY aQ- Q*) Toc? QO 


(7.4.48) 
而 对 固定 的 正 整数 ”, 注意 到 
P ana, Vésr, Vb, biako, 
(7.4.47) 
于 是 
站 一 二 " t-i 
2 |B p> af dy LP. aba a; 
r-i it 
<e D Bil È a (Drz, (7.4.48) 


利用 类 似 于 式 (7.4.42) ~ (7.4.46) B Jr ERR (T 4 48) 0 
证 明 式 (7 4.41) Zr S — TH 


r—l ^ 
E 之 Z5 V ayD, s aV IPB, (@y-1— €.) PV 4(Qu —Q') i> 0. 
(7.4.49) 


XE BE (7.4.46) (7.4.49) (7.4.40), 我 们 证 得 式 (7 4.87) Jy 
X. 
类 似 本 书 前 而 $4.1 和 $4.2 关于 算法 浙 近 正 态 性 的 分 析 , 易 


La 
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Al 
1 AO h 
JT (Quai QD 25 V aD. stu o (D), (7.4.50) 
+1 ~ 


Heo o(1) 一 > 0. 


再 由 式 (7.4.24). (7.4.27). (7.4.85) 30 (4.1.81) 及 定理 
4.1.1, 


-QQ 一 -> N(0, 85, (7.4.61) 
Va, n 
其 中 
s= | e-v; OR S OT ædt, B2KK*—9 T, 
0 i-o i=u 2 
(7.4.52) 
fic Cramer-Wold 方法 所 并 注意 a,-—-2°=V2(Q,.—Q"), 
(n, cat) -5,.N(0,8), S-V,S'Vi, (7.4.52) 
Bn " 
6TH S WAR Ris, Ri Al Lyapunov 5| 3879 ft 5X 
(7.4.52) 4 


BS’ +8'B=Vi> OR DOs, (7 4.54) 


所 以 将 上 式 两 端 同时 分 别 左 乘 。 MARVI 
V.(ViPHH*PV,—%VW2) SV! 


+ V 48" (ViPHH-PV, -2 ViV.vi 
-(V.ViPHH*P- LV VIWV SV; 


4 Vg sl PHH"PVV -4 VV) 


eJ iR'V.V 
R= SOR DC, (7.4.55) 
=ü 4=0 


Tt Hak (7.2.8) MAT 4.24) I 
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VVeP=P VVir'V Vi=R". (7.4.56) 
回忆 PH = Vik, 于 是 
(PA) 2 K"(EK") (VV "V;- E* (KK), 
BR 


VOi-PH(PH). (7.4.87) 
is ye, A =A (AA) a3 (7.4.51) 
V;.i-PHH*P(PHH'*P):, (7.4.58) 


综合 式 (7.4.66) ~ (7.4.58), 
(PHH'P -Z PHH*P(PHH"P)* W SVE 


+V8'V; (PRH P- & PHH'P(PHH'P): ) 


=f, (7.4.59) 
FR .4.58). (7.4.59) 40 Lyapunov SL (7.4.32) 88 
X 4.83) rir, 定理 得 证 . 口 


由 于 En 一 总 五 "<， 所 以 虽然 本 节 的 条 件 和 结果 都 出 现 了 
HH*, EIR RB ERR. I KFN aR IE 
ST A TR, 1X BU ULIBOS Rha TEA.. 
的 同样 结果 . 


$7.6. Hr A XE 


和 第 4 章 类 似 , 在 获得 算法 的 渐 近 正 态 性 以 后 , 自然 还 希望 能 
得 到 算法 的 渐 近 有 效 性 ， 这 一 节 我 们 将 利用 与 $4.3 相同 的 思想 
和 方法 , 在 上 节 的 信号 条 忻 下 , 对 步 长 因子 为 “ 慢 衰 减 序列 "的 适应 
性 恋 波 算法 作 平均 ， 我 们 将 证 表 这 样 得 到 的 新 算法 不 仅 以 分 布 必 
AES MNE, 而 且 具 有 最 小 的 渐 近 协 方差 阵 . 

类 似 于 定理 4.38, 鞋 中 随机 站 近 算法 汤 近 最 小 方差 的 导出 ， 易 


RI a, 二 M, 对 适应 性 滤波 算法 {Q,} 也 有 
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min lim aE(Q, — Q") (Q, - Q*)* 
Qn? mi 
= ViPHH"PV,)-"Vi SOR 


M OW (V ZP H H* PV >i. (7.5.1) 


BPH=).K 为 满 秩 分 解 , 刚 由 伪 道 性 质 知 
(PHH*P)* -(PHY"(PH)* 
-V.KK'"3KE"(KE994Vi 
=F KRK Vs=V VV EKE FF Vi 
=F F; PHH" PV.) "VF. (7.5.2) 
BEES o,— 2° =P 0G, -—Q"), Aba (7.5.1) FIT 5.2), 4 
min lim nE(2,— 2") (a—2")* 
~ (PHH*P)* BOR x OM PHEH*P)*. 
(7.5.8) 
IX — BEA BI ULEB x& ky ERE REAT AIEEE 
SLR hays, MARERE s 的 变形 外, 能 合式 7 .O.L) m 
3L, RERA EARRA RHE FH. 我 们 就 来 给 出 这 样 的 算 
法 ， 
设 {o,} 为 式 售 .2.9 给 出 ;但 其 中 的 增益 {19s} 为 A 4.3.1 中 式 
(4.8.5) Bis 3f M SE UE, M 


a, 7-0, Go 一 一 > 0, a, JEFF, (7.5.4) 
Gh 0 (7.5.5) 
25: B3 FL ECE E UGPE BS FE m S (4.3.90, E 
zl X a, (7.5.6) 
易 见 , ke RR Ric EDIDI DE EA OC 
£,—2' -Va4(Q,—Q^, (7.5.7) 


FE, 我 们 内需 证 明 法 Vn (Q,— QO ML BAR 7.5.1) 等 式 
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Aim BY FE 


Xi OSA RR AFER, SKF IL < 


oi, H H0, RK (0-0, —0)81, EARRAN AENT 
算法 (7.2.1) 在 经 过 平均 以 后 具有 渐 近 有 效 性 ， 我 们 在 这 里 将 采 
用 4.8 的 方法 ， 对 更 一 般 形式 的 适应 性 滤波 算法 证 明 同 祥 的 结 
5. 


XEi:7.5.1 设 对 由 式 仔 .2.1 要 (7.5.4) 80 (7.0.5) AHA 
lanh, HR AT.4.1-AV.4.4 gt c, 则 对 算法 (7.5.6), 有 


Vn (Ea) — N(0, (PHH*P)" 
SOR > Ci(PHH*P)* ) 
证 明 EmA...) ~ (7.6. DRAM, RNA RL 
st ey ot (7.2.15) Brig B (QR ae 
V (Q,- Q)— N(0, (VIPHH*PV 2)7Vi 
SORY OT IPHHSPV 2) ) (35.8) 
ii 
n= QQ", ul S wo-Qu-Q.  — (7.5.9) 
于 是 由 式 (7.2.15) 知 | 
Ung = (1 — mR K*)u,- a, (ER ET — Enin) nt 0485; 
(7.5.10) 
其 中 KK*-VIPHH*PV, 
2,— ViP(y abi —y.us(O*d* —PS")), 


1a] f. 35(4.3.12) 38055, (4.8 14) HES Pny MG, 只 是 用 
-KE RREH Hu HESS EUN 


a-i 
Un =2,-1,0¢0+ 名 ® 4. nao; (K K*—292))u 8). 
(7.5.11) 
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TE ACT 5.9) $058 (4.3.48) 8 
NÝ T Up =}, S, Loto 


Jp f=i 


1 
Th pa 0,3, (EE -zju +E) 


1 n—i syi 
UU 名 (Grit— (KEK) *) 
COR K — zgi hte). (7.5.12) 
HA. 3.40), EXE 838 — 3 X3 T0, 而 展开 第 二 项 可 
得 
-天 (Gs (KE K*)) (EK — ejus +a) 
-——3 > Gai K K* — 225 Duc — 238, it 
~ 一 总 (KK"™)-'e, 
-EK") E 3 (KE gar (7.5.19) 
用 引 理 4.3.1 和 和 类似 的 方法 , 我 们 可 证 上 式 右 端的 第 一 ,二 和 
第 四 项 以 概率 趋 于 0， 下 而 我 们 仅 详细 写 出 第 四 项 以 概率 趋 于 0 
的 证 明 . 
由 式 (7.4.29), 可 写 
iS (KE 225) Uy 


Ye jn 


i n-—1 ec 
一 一 一 = 之 | ViP(S B,(ej-, — e; ej) JPV a, 
^ Tb #=0 =o 


228 SAME e TH 


== $3 + >) Sy FPB; lea ete) PV au. 
^ i= =r ay = 
(7.5.14) 
RATAM. 4.43), RIELA PÉS 
El 一 一 S ViPB,PVFau —> — 0. (7.5.15) 
f=0 T 
EXC 4. 25), JERTR T 4.42) m (74.44) EL 并 注意 
L a 1 
JIAEJ. XU 


a—l1 
B| È = 名 VzPB,e, ,PV aty tj) | 


= € b |B (+2) —— ——7——c0, (7.6.16) 


-5 NE j y—x2 
PART 6 AER), 008 


e» 1 a—1 上 
| e Us Ps VEPB ere) PY aw; -=> 0. 
oro 
(7.5.17) 


Fh ARR CT 4. 41) 0 (0.4. 490 IEEE TEE, 可 证 ， 对 固定 的 7— 
0, 

pa -天 S Bye, PV at; — 0. (7.5.18) 
于 是 由 式 直 .5.17) 和 式 (7.5.18) 易 证 式 (7 5.13) £989 SS N LR 
HAFO, 


用 类 似 的 方法 , 并 注意 引 理 4.3.1 的 结论 2), 可 得 式 (7.5.18) 
AS MUERTO PH, WHER 5.19) ABW 
与 

LG VPS Om 
fin J=ù , {=ù 
的 差 以 概率 趋 于 0, 然后 由 式 (4.3.16) 立 即 可 得 


n=l en 
B 7-216. VIP 30e» 
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< e (BIS anair o [) o, 
经 过 如 上 分 析 , 可 


n, = 2 (EE") etol, (7.6.19) 


Hee o(1) 一 > 0, 
由 于 可 如 


LS NETS - S s)-lsa, (7.5.20) 
THESE 4.1.1, sc HU RT 


1 m-i d 

Vf PRÉ N (0, S», (T. 5.21) 

其 中 
Box | et OR D Ode, (7.5.23) 

因而 

1 5i d - ` 
(KK = 8 — > NO, (KE) Sy KE) | 

(7.6.28) 


再 由 Lyapunov Hi MAA (7.5.22), 
So IS, +A Sol -$oR$OL (7.5.24) 
于 是 从 式 ne 
(E K*)- a Eu -> NO, (KK “SOR 
dong. (7.5.25) 


Es (7.5.19) Fak (7.5.25), 3E e ES (T 0.) ~ (7.5.7) B AT, 
本 定理 成 立 ， O 


5 83x 


随机 并 行 处 理 及 多 传感器 
数据 融合 


RA 60 年 代 各 种 并 行 计 算 机 的 出 现 , 人 们 开始 研究 如 何 将 原 
有 的 适合 串 行 计算 机 的 算法 加 了 以 改造 ， 以 充分 发 挥 并 行 计 算 机 的 
优势 , 加 快 数值 计算 的 速度 ， 近 30 年 来 , 这 种 计算 机 硬件 技术 和 
软 忻 技术 的 发 展 , 相互 刺激 , 相互 促进 , 使 得 出 现 了 许多 专用 的 、 高 
效 的 并 行 处 理 器 ， 册 时 并 行 处 理 前 理论 和 方法 世 有 了 长 足 的 进步 
(和 参见 参考 文献 [79]), AE, 直到 OER. 已 有 的 并 行 处 理 方 
法 实质 上 都 基 确 定性 的 数值 计算 方法 ， 这 些 方法 当然 也 可 以 应 用 
于 随机 算法 的 并 行 处 理 ， 因 为 任何 随机 算法 中 都 有 确定 性 的 数值 
计算 ， 然 而 , 随机 算法 处 理 的 是 受到 随机 执 动 的 数据 ,如何 压制 随 
HARB, 是 改善 随机 算法 性 能 , 加 快 收 伍 速度 的 一 个 重要 问 
题 , 这 人 任务 确定 性 的 并 行 处 理 方 法 是 不 会 考 卉 ， 也 无 法 完成 的 ， 
从 80 年 代 中 期 开始 ， 人们 开始 注意 到 这 一 问题 ,出 现 了 一 些 从 各 
种 具体 的 随机 递 推算 法 的 随机 特性 出 发 ， 构 造 出 有 效 的 并 行 处 理 
方法 的 研究 结果 (如 参见 文献 [8，60, 61, 6])， 此 处， 在 随机 信 
号 和 随机 系统 的 检测 与 参数 估计 问题 中 ， 常 党 采用 多 忧 感 \ 观 测 ) 
器 技术 来 改进 处 理 的 精度 及 稳健 性 , 因此 , 如 何 最 合理 地 利用 从 这 
些 多 传感器 同时 得 到 的 并 行 数据 流 ， 按 基 种 量 优 准则 将 它们 融合 
为 所 需要 的 一 个 数据 流 , 是 一 个 十 分 有 意义 的 问题 , 国际 上 近来 称 
这 类 问题 六 多 传感器 数据 融合 (IaUjtigenSoT deta fusion), MÆ 
种 意义 上 讲 ， 这 也 是 一 类 随机 并 行 处 理 问 题 ， 本 章 主 要 介绍 随机 
名 近 及 适应 性 淡 波 两 类 算法 中 并 行 处 至 得 密 忧 感 器 数据 柄 合 的 一 
get Ae £k FACS, 09,201,107, 208, 109, 1101 * A t 25 x 传感器 数据 配合 感 
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兴趣 的 读者 还 可 以 参见 文献 [1, 2]. 
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在 随机 递 推算 法 所 处 理 欧 实际 问题 中 ， 常 常会 遇 到 实际 系统 
AY Eas aE A EE Dos 这 时 不 仅 需 要 计算 机 有 很 大 的 内 存 , 而 且 按 
通 消 串 行 算法 计算 耗 时 也 很 多 ， 这 不 仅 是 因为 由 维 数 大 带 来 的 计 
算 量 大 所 造成 ， 而 且 是 因为 捉 行 计算 要 求 每 一 分 量 上 都 完成 同一 
aR Ra A BERET FRR, TE oy Ee ae He II 
RE bj [RE SES, EP TI SE A, 文献 [8 要 第 一 次 提出 了 用 若干 分 离 
的 处 理 器 来 处 理 同 一 个 大 系统 揭 各 个 部 分 ， 同 时 彼此 及 时 地 分 享 
处 理 过 程 中 的 信息 的 思想 以 后 ， 文 献 160， 舍 又 进一步 发 展 了 
这 个 思想 ， 据 出 了 一 共 示 步 并 行 分 布 式 的 随机 逼近 算法 来 解决 上 
述 问题 ， 在 他 们 提出 网 模型 中 ， 人 们 可 用 多 个 外 理 器 来 处 理 同一 
大 系统 的 各 个 分 量 (或 子 系统 , 以 下 不 再 重复 说 上 明 ), 同时 各 个 处 理 
器 之 同 可 以 高 速 地 .充分 地 交流 处 理 信 息 .对 每 一 个 单个 的 处 理 器 ， 
在 完成 一 个 分 量 的 一 以 送 代 后 ， 立 好 可 以 利用 这 一 时 刻 其 它 分 量 
上 选 代 计 算 药 最 新 信息 进行 下 一 步 的 适 代 ， 不 需要 等 待 其 它 分 量 
也 完成 同样 次 数 的 送 代 ， 这 梓 , 对 每 一 分 量 , 渤 伐 一步 所 震 时 则 是 
BR PLE, 到 任 一 高 定时 刻 已 迭代 的 次 数 也 是 随机 的 ; 而 对 各 个 分 量 
来 说 , 算法 不 同步 兴 代 药 次 数 也 可 能 相差 甚 远 ， 直观 上 , x UR 
法 的 优点 很 明显 , 它 不 存在 各 分 量 之 间 相 互 等 得 造 或 的 时 间 于 迟 ， 
在 一 个 园 定 的 时 则 绒 里 ， 这 种 算法 在 任 一 分 量 上 都 比 传统 的 串 行 
算法 所 迭代 的 次 数 要 多 . 文献 160,，64] 用 红 收 伍 方 法 从 理论 上 证 
明了 在 一 定 锡 正则 化 和 茶 件 下 ， 这 种 晃 步 并 行 随机 逼近 算法 的 若干 
Ba A, SER UL B0 98673 EB AT Re EEA 
VERB. 

在 这 一 节 里 , 我 们 将 用 随机 变 界 截 尾 办 法 来 处 理 这 类 新 算法 ， 
[URS Lyapunov 函数 方法 来 得 到 它 的 强 收 全 性 ， 对 进一步 的 结 
乐 仅 列 出 参考 文献 . 
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B c-(»,,20*€ B, MBRR AC): ROR, HERG 

数 , 其 零点 集 为 
J ={a,h(») 20], (8.1.1) 
BHRNSSHD A) PREM ERE TAM BRE, 

对 通常 的 随机 逼近 算法 , 我 们 已 假定 在 一 个 单位 时 加 内 , 回归 
函数 A+) 在 各 个 分 量 上 都 同 对 完成 一 次 量 测 并 同时 完成 递 推算 
法 的 一 步 选 代 ， 对 这 种 理想 化 的 情况 我 们 可 以 用 一 个 处 理 器 同时 
完成 算法 在 所 有 分 量 上 所 需要 的 一 步 观 测 和 选 代 ， 但 是 当 系 统 的 
维 数 很 大 时 , 这 种 所 有 分 量 上 的 同步 性 实际 上 很 难 做 到 , 于 是 可 设 
{zt 全 是 一 个 有 界 正 整数 随机 序列 ，z! 表示 在 第 5 个 分 量 上 完成 一 
步 观测 和 迭代 所 需 的 时 间 ， 为 了 不 引起 由 各 分 重 处 理 时 间 不 同 相 
互 等 待 造 成 的 时 间 延 误 ， 我 们 采用 了 个 处 理 器 来 同时 处 理 一 个 系 
统 ， 因 而 oh 又 表示 第 5 个 处 理 器 在 完成 h(:) 的 第 5 个 分 量 如 (.) 
的 第 思 次 观测 和 迭代 所 需 的 时 间 、 面 第 与 个 处 理 器 在 完成 第 邑 次 
RAN Wee, CATI RA RUT: 

=O, Hast rh Veal, (8.1.2) 
ER, dici RE BOR EUR (OU E — 1 TE EH, 

PEER, Si EB P PAPER EA n URRY Bl pL E, 

设 esL, e 25)" 是 回归 函数 的 初始 自 变量 值 ， 由 { 引 的 
定义 , of, 是 外 变量 的 第 j 个 分 量 在 第 4 个 分 量 完成 第 mm KAR 时 


RE, FA, t= (on, +, 0a) "表示 自 变量 在 其 第 个 分 量 完 
成 第 nN 次 迭代 时 的 和 
£ nC [tf 于 ;一般 jm > 
wk = mrs, 站 一 全 i, (8.1.8) 
为 了 保证 各 分 量 的 选民 处 理 不 相互 等 待 ， 我 们 按 分 量 设 计 基 
本 算法 ， 


í 


Bika 


= wip + Gn) tEn), OT, (8.1.4) 
这 里 的 xs>>0, 以 后 为 记号 简单 , 不 妨 设 4=I，。 新 算法 与 过 去 算法 


88.1 异步 并 行 分 布 式 随机 通 近 算法 233 


的 区 别 不 仅 在 各 分 量 的 法 代 时 刻 是 随机 的 , 相互 不 一 定 同步 ,而且 
ERBAA EDE PC) 的 自 变 重 值 在 同一 处 理 时 刻 也 很 可 能 是 
完全 不 同 的 . 

为 了 把 分 量 形式 的 算法 写成 更 紧凑 的 向 量 形式 的 算法 ， 我 们 
mx FSIS: 


N,(n) 2 maxik, han}, ?«1, (8.1.5) 
Aion— 15445 Gab, (8.1.6) 
Ii=I uo <I, (8.1.7) 


其 中 和 Ni(n) 是 计数 器 , 它 计 出 到 时 刻 n 渤 代 已 发 生 的 次 数 , ER 
到 时 刻 ” 时 的 最 后 一 次 迭代 完成 后 的 时 间 . 车 水 =0， 则 表示 到 
时 刻 % 正 好 完成 了 一 次 迭代 , 这 里 的 名 均 表 示 所 讨论 的 分 量 序数 . 
再 定义 一 个 由 1 个 1 维 向 量 组 成 的 集合 序列 {2,}, 其 中 

z,— (21, "Ts a1), (8.1.8) 
Th ee = (Dik a A (8.1.9) 

有 了 这 些 记号 , SR RT EUR EMEN (8.1.4) 3g 
ot IQQ GOD) hi), «d. (8.1.10) 


最 后 定义 


了 0 
zu B a] (8.4.11) 

DÉ 
Em (Shas, d" £110, (8.1.12) 
h(z,) = (D, «c, ND), (8.1.13) 


其 中 Kg) 与 通常 的 记号 不 一 样 , 请 读者 注意 、 于 是 算法 (8.4.10) 
的 问 其 形式 为 


T+) (8.1.14) 


EARS (8.1.14) 5 BE B RM 算法 形式 上 很 相似 , 实际 上 由 于 对 
AEE I... 因 于 的 增加 和 下 zw) 记号 意义 上 的 差别 ， 使 新 算法 实 
际 描述 了 一 个 按 分 量 异 步 并 行 的 随机 通 近 算法 ， 对 任 一 了 时刻 由 
x is 一 0， 则 在 第 5 分 量 上 未 得 到 任何 新 近代 值 , z+r1 一 ws。 着 
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I1,:1, ME anait TO HESAN, TE 
新 人 立即 传送 到 其 它 所 有 处 理 器 贮存 ， 并 在 那些 处 理 器 进行 下 一 
次 新 的 适 代 时 立即 使 用 
为 获得 算法 (8.1.14) 的 强 收敛 性 , 我 们 需要 如 下 假设 ， 
A8.1.1 对 任 6<b Hiraji n- BAR HAERA, 
即 有 


二 六 = 二 其 一、 pl ae., (8.1.15) 
A8.1.2 XHEé«U, OPTS} GP 


£o n dns. (8.1.16) 

其 中 2d 
Ja —0 ss, Darga as wR (8.1.17) 

mi tj 


HORRA BA Ba — oo, 类 似 可 定义 


£i hat, (8.1.18) 
jm Bg élu npmSSEUT X (8.1.9) BEOTSNE XL. 
A8.1.8 存在 一 个 二 次 连续 可 微 的 L7yapunov i£ S ole): 
RoR, 实数 M>0 $1— aE {o, lol <M}, fl 


d(v(z), vil) >0, Vac J, (8.1.10) 
va(@) uh (a) <0, Val, (8.1.20) 
vo <int{e(a), lal = M) zd, | (8.1.21) 
[ofo d) v(J) #[v(o"), d]. (8,1.22) 
其 中 nut XÉ TOS ROGER. 
A 0 0 
hi 
1 
pej ? ud ; 
" 0 
]. 
0 0 w 


而 点 2* 是 以 下 变 界 截 尾 算 法 中 要 用 到 的 裁 尾 返回 点 ， 
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d(v(2), v(J)) Ainf{]e() —ofy) |, yE}, 
HIM. E—JÓREDESISBuESDXEJEA), ELBE 4 
数 序 列 {o0,} 如 下 ， 


Go— 0, Gari Us +i 


C 


(8.1.28) 


[ser reto tf a} | 36] 
Ric 
J,—1 


[ [o iras echar] Mae], 
a 
TaSi ien 


thi yeh NER A | >My " ; 


FHEUCMBAREN RHA BRUDER Vr EIE D 
suam ant E Tyas (Gn) +.) ad (8.1.24) 


正如 前 面 第 3 RMT, UEBBBÉULEDYTT AAR EREA 
法 强 收 敛 性 的 第 一 步 ， 而 异步 并 行 随机 通 近 算法 又 于 传统 的 算法 
复杂 得 多 ， 如 果 不 采用 变 界 截 忆 方法， 是 很 难 分 折算 法 的 有 界 性 ' 
从 而 得 不 到 强 收敛 结果 ， 这 再 次 显示 了 变 界 截 尾 方法 是 保证 算法 
强 收敛 性 的 一 个 有 力 工具 ， 

下 而 , 我 们 先 给 出 一 系列 引 理 . 

引 理 8.1.1 在 假设 A8.1.1 下 


Mm, as. Vi«l 
ft ao us 


证 明 ”由 式 (8.1.2) 和 (8.1.) 给 出 的 定义 ， 


Fran) Te AARTS N, (m) 4-1 = 
N,(n) * Nn) NQ(m)-1 Nim) ' Veet, 
. N(n)--1 FE 
再 由 AS.1.1, Nin) -> LASER. Li 


31:8 8.1.2 i A8.1.2 iR v, {wm} 由 式 (8.1.24) 所 定义 的 
{os ARATI Bis} AR, MERE 420, 使 得 对 任 
m O<T<A, FE br, HM Vi kr, YMC [n;, (Qn, 721, JS 
AL 


2 F Fah) +80) «c a8, (8.1.95) 


EX YmE [rw mm, T)--1], RAL 
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[m-an nE — 8.8. (8.1.26) 

由 于 本 引 理 是 83.1 节 引 理 8.1.2 的 推广 ， 亲 以 照搬 那里 的 
证 明 得 到 本 引 理 , 故此 处 不 再 证 明 . 

引 理 .414.8 dp A8.1.1~A8,1.5 F 

lima, o «o2 &.B.. 

证 明 用 反 证 法 .车 5 一 2 出 an 将 无 穷 多 次 从 全 出 发 穿越 
Rio, |ol|—M}, Hi A8.1.8 AT, 必 存 在 区 间 [564，5]c [e (2^), d], 
Hep does), del), PHvr@)HRASRMAW mR 
间 [5;, 82). ERAH m Mo he, Blas] M 时 , BRE lels 
M, ATRAE vn 由 A8.1.2 AAC+) ESE TE, 


— a n) TÉ.) Ua 0 &B.B,. (8.1.27) 
AERE A (m) PERATA omt Al 1, 满足 


nam, [t,t aM, | (8.1.28) 
Y (s i-i) <8, OE (23) 05, Tyt FE Ty 1 (8 wi. 29) 
vsu) > 8, (8 : 1 .80) 


H.E (8.1.27) flle (2 的 连续 性 , 式 (8.1.29) 中 的 了 是 存在 的 ， 
类 似 也 有 
| e Cas) 一 V (Bn,—1) | = | vu 0) (jy — 54-1) ID Ò as., 


Fe HA (8.1.20), 


Vo) — 5s, (8.1.81) 
$419] 0A £o, rf EMF, 不 妨 仍 记 为 Towj, 使 得 
Da -一 人 tEJ, va}, (8.1.82) 
回忆 由 Taylor 展 式 导出 的 等 式 


v (Omin e 1) DOW (Duy) = [M (8) (Etsi miS Dar) 
== ED (Decay net Bard + (8 m z) "Vow (B) tm nu Daa) " 
(8.1.88) 
由 子 tee ER, Ive» HAM RB krakn 58558 28 A 
(8,1.92) X, Se li 34 kk, [8 —2|«2e)7', 因此 ， 
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V (Data P41) — V (Dar) = vs (2) (Dentay P41 — Lay) TOT) 
| ming. T) u 
<8 @) M oc mA) tht) tO) 


(8.1.84) 
由 A8.1.2 知 | 


ED E Laide 0 ae, (8.1.85) 
再 注意 到 nan 的 定义 对 式 (8.1. 84) 右 边 第 一 项 ， 


eim y b» FT) => Ves (0) "S EEEO 


Kimin: TM 1 


= X Ve (m) m3 " H rA (2,4) 


i N (mina, T3) 1 
-EPeGOA m) TA E +3) va (E) 
FUE rk T3 1 


x; UG) — M (2), (8.1.86) 
d=) ty 


HAC) 的 连续 性 ， 和 引 理 3.1.2 RA (8.1.92), X TE € 
[n;, ming, 701, 我 们 有 


2m — FX — Pr | + |o, — $ || e2T, (8.1.31) 
max [A Car.) — A Ca) | 一 > 0, (8.1.88) 
HELN«( MO, NOD nuu TM 
因此 式 (8.1.86) 右 端 第 二 项 为 o(2) 项 ( 即 375-7 0). 
注意 到 由 引 理 1 入 jm) 的 定义 ， 


Nrimink, T2) 1 Na.Cming, T2) j 1. 


EY jue | Jj 
NOn n T 1 


(E0) XUL 


了 一 $5 J 
- (roD dog, (m(ny, P) —logN (ny) -o(1)) 


-— T+o(), (8.1.89) 
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其 中 0(1) ~—— > 0、 于 是 对 式 (8.1.36) 右 端 第 一 项 有 


Naming. T 15 1 


Por DR) E Pog) uh) +0(1), 


f 
=No Fy 


| (8.1.40) 
oe Pot (8.1.84) (8.1.40) R38 (8.1.92), di5R (8.1.2049 
limsup V anta nde? <3, — yu (8.1 AT) 


另 一 方面 , Bx (8.1.87)1(8.1.82), s(*)— Bea, 
(am) — (24) | —— 7 0, 一致 于 Ez ke, 


max 
TRU PEE (a, T? 
ix P234 Th, 对 任 m C [ne ms, T) AL), (on) «9s, 回忆 
3X (8.1.28) ~ (8.1.30) FF Uo, Ef EE, 应 有 
KV Dmna 58 03, 


id xx 5 3.1.41) FS, 故 引 理 得 证 ， 本 
月 了 以 上 三 个 引 理 ， 再 按照 $3.4 中 给 出 的 Lyapunov & & 
方法 , 容易 得 到 以 下 定理 ， 
定理 日 ,1.1 i$ A8.1.1— 48.1.8 成 立 , MIHE XE [EL mo, 恋 
JH aR EH ERE PUB XC ETE (8.1.24) JE 98 ey, 即 
lim day, J)-—0 as., 


由 于 定理 证 朋 的 完成 上 内 是 照搬 $2.4 中 的 推理 ， 我 们 不 再 等 
Ht, 读者 可 以 参阅 文献 [98]， 25 5b, 关于 非 加 性 噪声 时 算法 的 强 一 
致 性 , XCT AK BUE CS ES RIE EE, 由 于 分 析 的 方法 与 已 
有 的 通常 的 算法 相应 结果 类 似 , 我 们 在 这 里 就 不 再 占 篇 幅 , 有 兴趣 
的 读者 可 参阅 文献 [98，108] 
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由 随机 遇 近 算法 明确 的 实际 背景 决定 了 算法 的 每 一 步 法 代 都 
伴随 着 对 实际 系统 的 状态 或 参数 的 调控 ， 以 及 对 此 状态 或 参数 下 
系统 的 观测 , 这 在 系统 维 数 较 大 , RE RAH BEA PIS JE 


feiss 
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F RERE PLB RAN P EREEREER 
JH ER. i—A(m,) 十 8%+1， 简 余下 的 加 法 和 乘法 都 不 与 实际 系统 发 
‘PRR WAAR Ram. A, WT Lee 
ENP, RNS RESO PURGE 2f 13 BS ab By 
kk. 

我 们 通过 一 个 实际 例子 来 说 明 这 种 方法 的 基本 思想 ， 设 2 是 
一 个 飞行 器 的 可 调控 参数 , &(o 是 这 个 飞行 器 的 可 观测 飞行 状态 ， 
大 们 在 地 站 上 进行 观测 , 发 出 调控 信号 调节 参数 2, 并 使 得 飞行 器 
B GPR EIT EA Ah ACD, HO is 2:383:0, T 
基 ， 我 们 可 以 采用 随机 逼近 算法 递 推 地 完成 这 一 任务 ， 假设 对 一 
个 处 理 器 , 从 向 飞行 体 发 出 改变 参数 n 的 信号 , 经 过 飞行 器 接收 信 
号 并 改变 参数 ， 到 地 面 完成 对 飞行 器 在 新 参数 下 飞行 状态 AOA 
观测 共 需 个 时 间 单 位 ， 设 完成 随机 有 特 近 算法 一 步 迭 代 还 需要 的 
乘法 和 加 法 需 工 个 时 间 单 位 , A Se Re RSET +d 个 时 
[BM f, GORE, 在 7 十 1 个 时 间 单 位 里 人 们 只 发 出 1 次 信号 ,进行 
1 次 观测 , 飞行 器 内 改变 1 次 参数 和 飞行 状态 . 现在 我 们 利用 了 十 
1 个 同样 有 上 述 功 能 的 处 理 器 序 贯 地 进行 工作 ， 虽 然 对 每 一 单个 
的 处 理 器 同样 需要 TI 个 时 间 单 位 才能 完成 一 步 挝 代 加 ri 一 
D+ a, Go (Day) Fear) 《注意 此 时 的 足 标 名 已 不 表示 这 个 处 理 器 的 
Bn wie, WEARS a Pt EA A), BERR mL AREE 
器 构成 一 个 环 状 相连 的 并 行 处 理 器 ， 司 得 每 一 处 理 器 一 步 迭 代 记 
得 到 的 vn 立即 传递 给 下 一 个 处 理 器 ， 使 得 每 一 处 理 器 在 费时 r 
个 单位 完成 观测 时 正好 得 到 新 的 参数 值 . 这 样 , 在 每 一 个 时 则 单位 
时 肇 ,在 这 一 并 行 处 理 器 中 都 有 处 理 器 在 发 出 信号 ,进行 观测 , 作 简 
单 的 加 法 和 乘法 运算 并 将 结果 送 给 下 一 处 理 器 ， 面 飞行 器 都 在 改 
变 参 数 和 飞行 状态 . 这 也 就 相当 了 于 对 这 个 由 ?十 革 个 单个 处 理 器 构 
成 的 并 行 处 理 器 米 说 , 一 步 近 代 的 时 间 为 个 时 间 单 位 , 这 就 是 所 
谓 的 多 机 序 贯 异步 并 行 钼 理 器 的 工作 原理 . 

为 使 读者 更 易 理 解 , 4 r= 2, 8p —2p 3k SE A 3 my ej. 用 
一 个 简 图 来 说 明 . 
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Ey tanih En-a] HEn-i)> 
Pary d5-3( (£541) 十 En+21) 


"ERA 
7 
LL, 


Fat OS UA Ur og) beng) 
T PEE T: inte Ai (Tai TES HL) 3 


"32924 4 


tT a Eu Tu e tt 
A————  — — rr 


k 
25 2-5 2 (il ty - a) + En-a) 
n-2 n-tv n-3, 3 

"a _ hd =i 
Eart Gau. DES, | 


Enta t On+4 Uh EMEY + Ena 7 


Ensi Tn CUI 
L———————À 


[ oe 


我 们 还 可 以 考虑 更 复 染 的 情况 ， 例 如 ?为 一 个 有 界 随 机 正 整 
数 变 量 , 但 这 时 也 可 将 这 种 祖 况 简化 为 " 取 上 界 的 常 值 情况 , 这 里 
不 再 深入 下 去 . 

在 构造 好 针对 这 种 情 襄 的 并 行 处 理 器 后 ， 余 下 的 问题 是 带 有 
时 河 的 算法 

9,417 Da T An Ch De) 十 Bn_r+1) (8.2.1) 

的 收敛 性 和 渐 近 性 质 分 析 ， 只 家当 这 个 算法 仍 具有 通常 算法 那样 
良好 的 收 伍 性 质 ， 才 能 说 明 这 种 多 机 席 贯 并 行 处 理 直 观 上 的 优越 
性 具有 理论 上 的 依据 ， 为 此 , 我 们 仍 需 对 算法 (8,.2. 孔 作 如 下 的 变 
FUR EC IE. 

(M E- PRT ER RPS, o 为 R PR A, 
3& [11:38 e s 3L— AEEA MF 9 Lo AK oP, 


n-—1 


on = Í imta chieta > M AT 
Ug o p=: =0,=0, (8.2.2) 
2, + Gs (haar) + en-rei), 
maic4 4a, pe) eM, (8.2.8) 
Dyra = d aam nr RZ, 

a Sh RR AY ALE (8.2.2) A (8.2.8), 可 以 完全 照搬 人 3.1 
Ay COUPES ATT ik, 得 到 算法 的 有 界 性 和 强 一 致 性 , 于 是 我 们 有 
THREW.. 

8.21 xk 4:38 8.1.1 相同 的 假设 下 , 对 任意 初 值 cm 
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Wi, ttt, Bey YE (8.2.2) 00(8.2.8) Ir SSS BY T. 有 
Lim d (a; J)-—Ü að.. 
出 于 本 定理 的 证 明 与 定理 3.1.1 RR, PEATA 
H 我 们 不 再 给 出 具体 的 证 明 , 关心 证 明细 节 前 读者 可 以 参阅 文献 
[110], 
如 果 设 回归 函数 A DES A ow 处 连续 ， 并 改写 式 人 3.3. 二 为 
ati Dn T Gy, (A (m, ) T hides) — hm) TT 85 711) H 
(8.2.4) 
FIR PH A) 一 hlws-r) CARRE MESH, WERS BS NE 
的 算法 化 成 了 非 时 滞 的 算 法 , 这 时 只 要 已 得 到 mo a^ aus. 


们 可 以 用 类 似 8 4.174.2 BRIT HS KSPR EN WHE 
(8.2.2)50(8.2.8) AY s uic aE A EEE, GRR ea 
与 定理 4.2.1 WATE EAE 40 
me.» N(0, 8), lim —-Ela,— ote, 
ga, nc n h 
(8.2.5) 
Hoh SIMA, 当 取 ww 一 过, 上 式 成 


VT (n, a!) ——> N (0, 8), limnB]x,— nl ar 8, 
(8.2.6) 


m EI B HO JG EIE n BRE e UOI, 又 是 时 间 单位 时 刻 , 然 
WE SOSA E Gs HER, SA An ZIR AL AY 


刻 , 由 于 在 时 刻 % RAT |r ] io 那么 由 渐 近 正 态 性 定 
理 ,应 有 


BERE) —— NO, S), (893.7) 


iE BUTS 
lim| ^ | Elz, , jet 8, (8.2.8) 
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BK, 从 上 述 分 析 可 以 得 到 ， 要 达到 同样 的 扣 近 精度 ， 单 处 理 器 的 
传统 算法 所 需 的 时 间 是 多 处 理 器 时 滞 算 法 的 7 十 1 dE. XX T CAE IE 
是 多 处 理 器 换 来 的 ,类似 的 思想 还 可 以 用 于 其 他 递 推 算法 文献 
[63] 介绍 了 在 信号 处 理 的 实际 问题 中 ， 也 会 过 到 需 采 用 时 洁 适 应 
性 滤波 算法 的 车 干 情况 , 因此 , 我 们 可 类 似 地 采用 多 机 序 贯 异步 并 
行 处 理 的 技术 , 并 应 用 如 下 形式 的 时 滞 适 应 性 滤波 算法 
Dyer = OTD? + Plat a, eye Yn—rYa nr) dy 
My = Dy = = Dy = OTTO 

WT BARBS aE, RIAT EUR His ds Pr PEERS JF 
法 , 先 将 上 述 算 法 改造 成 变 界 截 尾 形式 , 证 明 修 改 后 的 算法 一 致 有 
界 ， 然 后 青 得 到 算法 强 一 致 性 ， 我 们 不 再 详细 讨论 ， 有 兴趣 的 读 
者 可 参阅 文献 [109]. 


$8.3 ARMA HC we EDGE ER 


ERHARD, RNS BS EELMA MILLA 
适应 性 滤波 算法 的 数据 融合 问题 ， 其 中 都 会 遇 到 一 类 有 吓 线 性 约 
上 的 非 线性 矩阵 函数 的 求 极 值 问题 ， 因此 , 在 本 节 我 们 先 给 出 一 
个 预备 性 的 定理 ， | 

设 一 组 矩阵 ACR, tal, 2, …, 为 对 称 正定 阵 , 即 

Aí-À;, A0, 6$-1,2,.^,v. (8.3.1) 

FCHBGEXC RU, RAT R LAAT UO) 阶 阵 可 微 的 

非 线 性 函数 , 我 们 希望 在 约束 


> CI 为 1x1 阶 单位 阵 ) (8.2.2) 


下 , 求 出 非 线性 矩阵 函数 PS X aX 1 ) 的 某 些 (不 一 定 全 部 ) 极 


i FERIA Lagrange IRF RM LMI, BAT EE 
阵 函 数 方程 组 的 求解 问题 
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a(F (32,4) +S X,-1,)) /aX.=0, $—1, 20, v, 
(8.3.3) 
其 中 入 也 是 待 求 的 Txi 阶 阵 ， 
根据 公式 (1 .4.31). 
aw XI) . 
Y, LAT, $—1,2,.-,-, (8.3.4) 
我 们 可 重 写 式 (8.3.3) 为 
aF ( SUX AX? 
=i +4720, 21,2, r. (8.8.5) 


i 


现在 我 们 给 出 本 节 的 主要 结果 ; 
定理 8.8.1 在 本 节 的 假设 下 ， 方 程 组 (8.3.3) 总 有 一 组 (不 
一 定 全 部 ) 不 依赖 于 函数 鳌 (形式 的 解 
xi-(Eas)' am .3.6) 
证 明 dI ACRUUBS 1.4 rp By EB EE DR AAA AE 
(8.8.6) Ay RH BLA. 4.20), 
OF (X X, 4X3) 
] Ox, 


O vec v XAXI) 
IUDA ne fre) 


8 veel X 4 ALX T OF (Z) 
n eX, (Ce vee Z 


z= $ X,A,X ) 


Z= X, uxt): 
(8.3.7) 
FE dash (1.4.22), (1.4.40) $0 (1.4.42) 
0 vec(X,A,X1)* _ vee A) (X $69 1) 
8X, ax, 
OX OX 
= (L@(veed,)*) $949. 


= (IQ (vee A07) GQXi+t LOU) QUGO.X D) AH), 
(8.3.8) 
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ZEH U EI NR RE, CPAEBISLCS 3.3) ~ (8.3.9), 


方程 (8.3.3) 北 次 
(LQ (vee 497) CDX H (LOU) USAD (LT) 


BF (Z) | | 
(Iz urna) 79. (8.3.9) 


现在 , 我 们 侈 需要 证 明定 理 给 出 的 一 组 解 司 .3.6) 满 足下 列 方 


程 
SXi, (8.3.10) 
A— — (TxD (vee AT) (UQXY + UROTU; 
Ge (ne Es say) 
Xj vé$—1 yn Y RM, (8.3.11) 


Hah (8.3.1)40, 显然 式 (8.3.10) 成 立 ， 余 下 只 需 证 明 对 任意 
的 多 ,由 式 <8.3.11) 给 出 的 阵 和 都 是 与 无 关 的 同一 带 阵 ， 也 即 式 
《8.3.6) 给 出 的 解 组 为 方程 人 48.3.8) 的 解 . 


由 于 
z-X-xj;sxy-(map) (8.3.12) 
-Z jM 1 7 f£ i H uo. 
PAR (8.3.11) 8985 —TBHT 
BF (Z) | 
PT z= $ X34,3w 
E— ik E, 
注意 到 由 置换 阵 的 公式 (1 .4.28), 这 里 的 
flat Eg ... En 
ya) Pe Pa cU ofa (8.3.18) 
Eu Ea v Eu 


其 中 的 By xU S SEE. TERA. 3.114 Aiii 
项 因子 的 积 展开 , 利用 上 式 , 其 中 第 一 项 为 
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d (vec A,)") (UQA e Ar ) ) 
(vea A" T 
_ (vec A)” 
OU "(veo A) 7 
EA! (3 A7! ) Eu Az Aj? ) 
| Ea (3 AP) Fuga ex az)? | 


EGAT! (3 A ;*) EAr! (3 Aj) 
(8.3.14) 
由 A 的 对 称 性 以 及 公式 [1.4.19)、 (1.4.22 fU (1.4.17), E 
Ah 38 FG 4 DUE PESE 8 il Rk, ER RE 


(Vee Ay) T ( E.4 了 1 (S Aj! )) 
= (Vee ID LBA E GAT! (x Aj} y‘) 


= (Ver) (EnD (347) ) 
à—1,2,-«, j=l, 2, 0 (8.3.15) 
显然 , 它们 均 为 不 依赖 于 名 的 党 阵 . 
从 式 (8.3.13) 和 上 的 定义 (1.4.9), 这 里 的 U 满足 
U* —U, U vee A—Yec 4 一 Yec An $—1, 2, -—, r (8.3.16) 
因此 ， 对 式 (8.9.1230 右 端 前 两 个 因 于 积 的 第 二 项 用 公式 
(1.4.17), 
(R (vee A05 (LU) UOLO AGU) 
= (TW (vee AYUD (UGO X D TU) 
= (L (ver A07) (UG0X O (LOU). (8.3.17) 
"jn EXE 3n BU PS DEEST SUPR IR] (8.3.14) J& SK BAe AY 
EE, dXX Ee M. 
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$e (8.3.12) ~ (8.3.17) HE, A(8.3.11) HA A H 
实 是 不 依赖 于 5 的 同一 常 阵 , Wee ee T 


$8.4. 多 观测 器 的 最 优 凸 组 合 随机 逼近 算法 


在 随机 逼近 前 一 些 实 际 问 题 中 ， 情 如 前 面 所 举 的 在 地 面 上 观 
测 和 凋 控 空中 飞行 器 至 最 佳 参 数 的 例子 ， 人 们 实际 上 是 在 地 面 上 
药 不 同 地 点 用 多 个 观测 器 观测 这 个 飞行 器 ， 从 而 同时 得 到 多 路 观 
测 数据 ， 又 如 $2 民 中 所 举 的 试验 一 种 新 药 的 最 佳 剂量 的 例 于 ,人 
们 经 常 是 在 多 个 地 区 的 不 同 医 院 星 同 时 试验 ， 因此 ,在 随机 坎 近 
算法 前 实际 应 用 中 ， 通 过 包 个 观 淹 器 得 到 多 路 数据 的 情况 是 大 量 
的 .于 是 很 自然 地 产生 了 一 个 问题 : 怎样 才能 合理 地 .充分 地 利用 
所 得 到 前 全 部 信息 , 构造 出 在 某 种 意义 下 最 优 前 算法 , 而 不 是 赁 多 
验 仅 利用 共 中 某 一 路 数据 或 对 多 路 信息 作 简 单 的 算术 平均 ? 

在 这 一 节 里 , 我 们 将 根据 不 同 的 实际 背景 , 提出 两 类 不 同 的 并 
行 驳 测 下 的 凸 组 人 台 随 机 逼近 算法 ， 从 理论 上 严格 证 明 算法 的 最 优 
Pig cse URNA XXX XT dA. SUB Bx ex E 
组 全 系数 算法 的 实现 途径 ， 

算法 工 

在 新 药 最 佳 剂量 确定 的 问题 中 ， 各 个 不 同 的 医院 完全 独立 地 
各 委 进 行 着 试验 , 相互 之 间 并 不 交流 信息 , 也 就 是 说 各 自 独 立地 按 
随机 逼近 算法 选择 观测 点 ， 用 观 浏 性 完成 一 步 迫 代 ， 如 此 不 断 进 
1, 得 到 特 对 同一 问题 的 一 组 随机 允 近 算法 ow},，% 所 7， 然后 我 们 
用 凸 组 合 方式 产生 一 个 新 的 算法 序列 {2,}， 我 们 又 称 这 类 算法 为 
qa + u dt decentralized) 算法， 

glam d= pl Rn) He, (8.4.1a) 


Dari Ont Guns = On T OS CR (or) 二 Sr a1); (8.4.1b) 


zac DM aot ys, ml, Vn, (8.4.1c) 
(m1 i=l . 
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其 中 yLa ARB à ARUM BERE IERI n OR, elus 为 此 时 的 观 
MOT, atA RARP KATES, M EREN WEEN- 
d, Vn, 

采用 式 (3.1.8) 和 《3.1.4) 处 的 记号 ， 我 们 还 可 将 上 述 算法 中 
ft (8.4.12) fI (8.4. 1b) AGE ENA HBR, X 61, 2, 


et 
= 0, On= Sly H- alb» Mog) (8.4.2) 
Tai (vi -F ea) atayin Ma +a i eias» Mag, 
(8.4.3) 
T RR (8.4.2), (8.4.8) I(8. 4. 16) WK (8.4.1) PAESE JR UD 
AX. 
算法 II 
和 新 药 最 佳 剂 是 确 定 的 问题 不 同 ， 空 中 飞行 器 最 佳 参 数 的 调 
控 不 能 由 在 地 语 上 的 多 个 处 理 器 各 自 独 立地 进行 ， 因 为 它们 调控 
的 是 同一 个 对 象 , 那样 作 会 彼此 干扰 ， 在 任何 时 刻 %, 所 有 的 观测 
器 都 只 能 取 同 样 的 观测 点 (这 里 也 是 被 调控 的 参数 )， 但 可 以 利用 
各 自得 到 的 观测 进行 一 步 夺 代 , 显然 , 各 个 处 理 吕 得 到 的 选 代 值 是 
不 一 样 前 , 我 们 凸 组 合 这 些 值 作为 下 一 次 兴 代 处 理 的 共同 观测 点 ， 
我 们 又 称 这 类 算法 为 中 心 化 (centralijzed) 算 法 ， 用 数学 公式 叙述 
mF; 
aia 8, Va (Rn) Heiti)» l« $n, (8.4.4a) 
n= Mah mI, Vn. (8.4.4b) 


BEAL, PIE (8.4 ORAM RR I] ERREPA: 


Go= 0, Tua 2 Tic >a] 了 (8.4. Da) 
= 总 E 
ot Heat On A) ers), ie 4s, (8.4. 5b) 


Y ^, 
WY ipt r * x 
en (S Ma JE PESIN tri Paint) > Mo, 


-H FU FOE Pe ALPE S fe dg EI NÉ CT 5. 8 Fe 
za — 1, Yn, (8.4.50) 


MAER 9, 4 5E, 我 们 已 经 司 以 看 到 , 在 讨论 随机 远近 算法 
hg a.s. 收 颌 性 和 渐 近 正 态 性 时 ， 变 界 裁 尾 的 形式 正好 取代 了 预 完 
假设 标准 算法 一 致 有 界 , 其 余 的 假设 两 种 算法 都 相同 , 因此 为 了 不 
重复 ， 我 们 在 下 面 只 讨论 和 分 析 算 法 工 中 的 算法 (8.4.1) 和 算法 
II 中 的 算法 (8.4.4)， 记 得 结果 同样 适用 于 它们 的 变 界 裁 尾 形 
X. 

h FREEGE ADP i=l, e, n SEES RE g Aak SR 
Ej fey p E ER ELE ERE UE, AE E EA E R ETE A. 都 
Fiha M, MR zLÉ as APE EER HE (8.4.10) EX AY 


c, IJ a.8. Ha, T] RA 8.4.4), 由 于 容易 重新 写 蕊 为 
Tali =g Haal hin) > A ), (8.4.6) 


它 的 a.s. 收敛 性 分 析 也 成 了 平凡 的 问题 . 这 样 , OM PS SETA 
我 们 都 不 青 讨论 o.. KOKA. TEBE XX 7J Air EM fap e De 
小 方差 的 意义 下 ， 分 析出 最 优 凸 组 合 系数 入 ， 以 及 如 何 构造 出 
人 人 ,使 得 MOY, 

没 每 个 观测 器 的 观测 噪声 分 为 共同 部 分 te 和 彼此 独立 的 部 
Ag, dear, 即 


ze, "te (8.4.7) 
Bley, Hn) = BE FO $?«r, (8.4.8) 

E( enh F 4-1) > 0 8.8.. — s) F R.S., PT, 
(8.4.9) 

Benge iF nt) © BEng" Fo) =0, Và:i«r, $7 j, 
(8.4.10) 


pE (leli IEZ n) «oo, MIE 87-2, (8.4.11) 


注 8.4.1 在 两 类 算法 的 实际 背景 中 ， 观 测 噪 上 声 可 以 如 并 
(8.4.7) 那 样 表 示 成 两 部 分 的 和 是 合理 的 , 例如 新 药 制造 过 程 中 的 


55.4 MR UI SS ETE [C D rt GE FG way 


TRA ETIE KITIR R R $18] FIER E E d XRIM WR i P 
fat SEG fe}, MSEbRRERR PNT ET; HAE S 
观测 仪器 的 误差 ， ABR LAGE A hae AS aso. 为 
TRETA M ge DC T6 IE] RR, Be ENA. 3111 
假设 (eo RAR RSP, (PHAR AS HR EJ Fl 
[zip an Ad.1.9 S FETKES 8] 75 27 4H 285] BL 9, 

我 们 先 给 出 算法 的 渐 近 正 态 性 定理 ， 

定理 8.&.1 GL BSEC B5 (8.4.7) (8.4.10), E 
HKA AC MER ET AT42.0. PAF (a. IE A4.2.1, RE 
fL (8.4.15 ra> eas, tar, A8. 4AE ty PB? 0,8., 


fi Hy AA Mas, Or, ME Fon 可 测 ， 那 么 对 算法 
(8.4.1 


s.p d 


> N(, Si), (8.4.12) 


v Gn He oo 
s.-{ "UP LENS jig I 288 pig UP Se Dt dt, 
ü et 
(8.4.18) 
而 对 算法 (8.4. 切 有 
z,— a d 
"aw wet, 82); M 


= 1 t lan ; 
S.— | prt a ASARIN Je T? ? "di, (8.4.15) 
D fal 


证 明 AE ( 8.4.1), 我 们 有 


(ty — 2°)! a = Af (ai — a9) / ^ t. 
=l 


eiat o) (GAR A) (aha) N as. 
(8.4.16) 
由 定理 的 假设 和 类 似 定理 4.2.1 的 推导 ， 知 上 式 右 端 第 一 项 可 写 
d 


t — r us fh. 
S Af — a) / DN DD Ja Eka TOCE) 
i=1 i=] — k-1 M yai 


ano FEAL: Teh Pl Se Si RS eS ni 8 C 


= > we NR eat EM > uF. kd 
i 4 i=l Aoi 


r = Eiu toll), (8.4.17) 


其 中 id Pacer WS 4.1528 4 PEL- 0 
FA (8.4.7) ~ (8.4.11), (8.4.17), WAGE (8. 4.17) ri 
的 V, Ja exit Es Pakti Ta =i. ESI BR 4.1.1 r8 


a! 


的 £u, 且 能 验证 对 这 样 的 Son KSI SY EER 6 村 
Ei £x CAN TE, MUTT 2279 Si, 此 即 


Bai- a)/ VG NO, 81) (8.4.18) 
HG SY Ak —> MOM (8.4.16) ORIS LER 0, 故 定 


SHRI th Bx (8.4.12) 803 (8.4.19) RY, 
tA (8.4.4), dEXeHpA( 8.4.9), (8.4.10) A E F ni 


可 测 ， 
wl (Bs e suy 9 da a 
=E(e F F J+ DME VAT» 
HEMRA a8., (8.4.19) 
于 是 , 青 由 定理 的 其 它 假设 , 类 似 定理 4.2.1 的 证 明 ， 可 得 定价 的 
结论 , 即 式 (8.4.14) 和 (8.4.15) 也 成 立 ， 口 


曙 于 可 以 利用 已 有 的 算法 渐 近 正 态 性 的 研究 方法 和 结果 容易 
二 得 到 新 算法 的 类 似 结 果 ， 所 以 定理 8.4.1 并 不 是 本 节 最 关心 的 
问题 .但 是 有 了 算法 的 渐 近 正 态 性 , 以 极 小 化 部 近 协 方差 阵 5: 和 
Ss 的 迹 为 性 能 指标 , 就 可 以 找到 最 优 的 凸 组 侣 系数 阵 入 .于 是 
我 们 有 下 而 的 定理 . 

定理 8.4.8 i8 8.4.1 BAR TEE. HoX.4.9) P fg 
RY, vixe Ba 3st, 则 对 算法 (8.4, 二 和 (8.4. 和 ,分 别 极 小 化 S13 和 
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Se B ZR ER] UL A A RUE REED 
St RIE (8.4.4), 
M= (SS) YS, ie, (8.4.20) 
其 中 en 1 l nF 
8 一 | ee (8.4.21) 
SHE (8.4.4) 


nt 一 (Suy (R)-3, iar. (8.4.22) 
I=] 


证 明 dh ir S: Ai nS; 4r By Bin F( Saw ) 和 
P(ER) HAM BS m RSA, 于 是 由 定理 8.3.1, 式 
(8.4.20) 和 {8.4.22) 中 的 和 WEAR DAI F, LEMNE 


数 ar S, A tr Sa 的 一 组 极 值 ， 此 外 , 容易 验证 , 把 式 (8-4.20) 中 的 
AM 代入 式 (8.4.18), 得 到 相应 协 方差 阵 31 满足 


= H+lelt  (Helant?:i r -i 
si=| oa Ore jan (so (gt 
ü ixl 


oa 1 1 T 
Hier (H+lah”t 
<|"e 2 ge ^ 
Ü 


而 把 式 (7.5.22) 中 的 %* RAK (8.4.10), 得 到 相应 的 Ss 满足 
Se 人 c (38) 2 enna ae 


ES 1 1 T 
<| git nape (o + Rije 24" 'as, yir, (8.4.24) 
0 


ditg, Ver, (8.4.28) 


这 也 就 说 明 A, d<r 确实 为 极 小 值 . 口 

定理 8.4.2 给 出 了 两 类 不 同 多 观测 器 算法 的 最 优 请 组 合 系 
数 , 显然 , 这 些 系 数 中 的 五 阵 和 RS 阵 在 随机 逐 近 问题 中 一 般 是 未 
知 的 ， 我 们 不 能 直接 应 用 定理 8.4.2 来 实现 最 优 凸 组 合 系数 的 算 
法 ， 但 是 ， 由 定理 8.4.1 知 ,内 要 构 井 一 个 多 ,i 可 测 的 各 序列 ， 


BRAG MAS ty imr, USERRA 2] BREA NF ET E 


2 BIELIE AEERK $66 ean SUBE E Ru 


2E ER UL. Fl. BR AE DE IE Us $m 的 构造 问题 . 

Ash (8.4.20) 一 (8.4.22) 可 以 看 出 ， 上 述 问 题 也 可 化 为 构造 
POLAR, tar, MBE RE A, 和 BL és r.a 
可 测 的 , 而且 

Ho— H as, Riok a.d., (5.4.25) 


对 回归 函数 AC EER ”的 梯度 | =H tki Te 


一 些 有 关 多 维 适应 性 随机 肚 近 的 文献 , 如 文献 [ 红 ] 中 已 有 讨论 , 其 
基本 思想 是 构造 一 个 观测 序列 的 差 商 序列 ， 然 后 作 加 权 平 均 或 简 
单 的 算术 平均 ， 这 样 得 到 的 序列 由 于 加 权 平 均 去 掉 了 观测 噪声 的 
作用 , 而 被 观测 点 又 都 扑 于 零点 中 ， 因 此 也 就 收 化 于 B. REN 
公式 及 理论 分 析 可 参阅 这 些 文献 , 如 文献 [91] 中 的 第 4 节 , 我 们 在 
这 里 不 再 赞 述 了 . 

ETM HHT MEARE BU PEUX (8.4. D ~ 
8.4.11), Aa dB m Per Pe ES ROP BP ot 
天 和 oa, 然后 得 到 R FRR CAR IB oU a EET ANCA RM 
SE pe M, 

对 算法 (8.4.1) ,为 估计 o E, 我 们 建议 的 算法 为 ， 对 Ves 


-1 
PE A(z) +8341) Ch (zi) 48$4)* 


中 n+ 一- 


0-4, Le Mt LU G3) +68) OG) eh)”, 
(8.4.26) 


Wit o, 算法 为 


bem (1 ase op (haba) +08) (RGR) +e)”, 
(8.4.2) 
其 中 的 上 角 标 1, 2 & T MUERE dae, ben, jer. BR, di 
SP T MEETS 
与 算法 (8.4.4 类 似 的 算法 有 
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$a (1- p b Lp hs) ee Qa) tet)”, 


(8.4.28) 


1 
n—1l 


à 1 
dam (1— Mat 人 (zs 十 的 


(8.4.29) 

TB se BE T GER IEG.4.26)— (8.4.20) RUE ILI 
需要 的 收敛 性 的 一 组 条 忻 . 

定理 8.4.3 设 算法 :83.4.1 中 的 Ta —> a as, tar AE 


(8.4.4) IP Bp z, — a” a.s., FR AUR W ER Pp (8.4.7) ~ 
(8.4.11), Wah (8.4.26) Ash (5.4.28) BrzE RAB Jh or 和 式 
(8.4.27) Sx (8. 4.29) Bre SLE Lo.) ERU 3 — SEDE, BD 


pis c + A' oe 
Uh ——» 0 àd., 
n 


BUT SEE 8.4.28) ~ (8.4.29) n] EU fE— BAH BEDL B MESE 
ik, FU RHA BAS 3.2.1 处 理 ， 我们 在 这 里 不 作 详 细 证 明 ， 
有 兴趣 的 读者 可 参阅 文献 L107] 中 定型 5 的 证 明 、. 

Tiu 

Ri = hi — fe A= H, + al, 


He NK (8.4.20) ~ (8.4.22), di n] EL BERE DL h B A RERI fi 
计 序 列 A” tsr, 要 注意 的 是 在 实际 计算 时 有 可 能 对 某 个 久 ， 
dot Ri~0, M: iar, p 机 所 0, xt M4 2 —AZ a, viar. 此 外 ， 
由 公式 (8.4.21) 计算 9; 也 可 利用 Kronecker 积 化 为 解 线性 方 
R. 
CIg) A, -- A COT) Voc S1 = — Vec RI 

当 4,750, ET JE TE— un E RE SIUS ASR [45] 中 pp31, 98. 
20), Fr 34. 21-0, di Lyapunov 引 理 知 , $10. 


ME 随机 并 行 处 理 及 多 传感器 数据 融合 mir 


$8.8. 多 传感器 的 最 优 凸 组 合适 应 性 滤波 算法 


在 适应 性 当 波 算法 应 用 的 实际 问题 中 ， 也 常常 会 发 和 在 多 个 
不 同 观 测 点 用 多 传 感 吕 获得 同一 系统 的 多 路 信号 的 情况 、 例 如 在 
用 适应 性 滤波 算法 估计 一 个 线性 系统 的 参数 时 ， 系 统 的 输出 就 很 
可 能 被 人 们 在 多 个 地 点 同时 观测 ， 这 样 并 行 得 到 的 观测 数据 在 适 
应 性 滤波 算法 中 就 成 了 并 行 的 参考 信号 {fr},， tap. 又 如 在 用 适 
应 性 滤波 算法 作 雷 达 . 声 纳 和 通讯 中 的 信和 号 滤波 , 实际 上 也 大 多 是 
有 多 个 天 线 和 声音 接收 器 在 不 同 地 方 同时 接收 同一 信号 源 发 出 的 
信号, 从 而 得 到 一 组 并 行 的 输出 信号 {9 站 , j 扎 9， 而 且 ; 对 这 一 类 
用 多 传 感 器 获得 同一 系统 的 多 路 信和 号， 一般 可 以 将 它们 分 解 为 两 
部 分 : 
Y= yt, Ph t<p, jd (8.5.1) 
Ea (ig, Gu) 表示 和 皮 传 感 器 所 获得 的 共同 的 信号 , 包括 所 受到 的 
共 辣 的 噪声 ，1% 拉 和 长 由 表示 各 传感器 所 受到 的 相互 独 立 的 噪声 ， 
它们 都 是 平稳 的 , WA 
也 gm 一 全 一 由 了 人 一 了 0 
(8.5.2) 
Emini'—0, EE =0, tj Enigi =, ép, j«g. 
(8.5.3) 
Ey,y7=A, Ey,d;—B, Ceapa D, A70, (8.5.4) 
EBying? = Ay, BEST =D, 4,70, D,70, isp, j«9. 
(8.5.5) 
如 果 , 3241105 3808 EE EEE A MA, 即 把 这 些 多 个 传 感 
器 合并 成 一 个 , 则 可 重新 记 
Jam (ETT. dm Geb)". (8.5.6) 
HAC 1.95, (8.5.1) (8.5.5), WE 
min Eleg dnl? tr(P aG), (8.5.7) 
其 中 
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~ {De DY jD 0 
P=Ebpr=| : | ve | (8.5.8) 
D..bl \0 "Dp, 


ri 
-| i Jaan, (8.5.9) 
— fI A 0 
o= nie [5 acro 7 J (8.6.10) 
I 0 A, 
PELA EI AE e a t st C e A XC C22). 


(L--MN1M")!—-L31—L^M((NA MEO MD 


(8.5.11) 
可 得 


i Aj? 0 
ape joan (“© | 
i 0 A; 
Aj! O \; I A7! 0 
-| " 有 area | . | 
O | AQ; AI 0 AZ 
I 47} 0 I 
| : } (TL) | 7. / : | 
E! 0 ATIM, 


-Xas-Xas(ac «2 Ap) Sar 
“(4+ Ay ty DE (8.5.12) 
于 是 再 由 式 (8.5.7) ~ (8.5.10) (8.5.12), 77 
tr F — G*Q^G) =i) DiD- 5 A «(x A; )) B| 
> por) -2 (arias) ) 5] 
(8.5.18) 
其 中 等 号 成 立 仅 当 区 =- 工 TA SSR AH Visp, 


DrD-B(At(S4) ) 8 


250 Pith 1 FF fy eb FE M Se tee ee BR Nod ia 
>D «(3 Do) -m( A (Y ar) YB, 
甘 由 后 面 的 (8.5.31) 中 的 等 式 , ERA EE R RE. 
另 一 方面 ; Ast (8.1.19) 49, 此 时 最 优 滤 波 阵 为 ; 
à" = (Egg) OEY ps, 
当 g Hl pK, 由 式 (8.5.6) 知 r" 的 维 数 将 变 得 很 大 , 为 单传 感 
器 时 的 p» q fit, 这 当然 是 我 们 不 希望 的 . 


在 下 面 ， 我 们 采用 的 是 将 并 行 得 到 的 输出 信号 和 参考 信号 分 

Bh HS aL ETRAS 
y, - 3 Ml, Xl d, — 2 usb, Su 1, 

(8.5.14) 

其 中 iC R, YER MERO, CR, tap, gag. 然 

后 在 类 似 于 式 (8.5.7) RRDA 28 E BS ELT RE-ARRHA 

HEREA (ud, PRR RARER B] R7 73 3€ 

迹 竟 达到 了 式 (8.5.18) 右 端的 下 界 , 然而 这 时 的 最 优 滤波 阵 w 的 


维 数 为 (rx 避 ), 仅 为 2" 的 x5, 始终 与 单传 感 如 时 的 一 梯 , 这 就 
是 新 方法 显著 的 优点 ， 最 后 , 与 上 一 节 类 似 , 这 样 得 到 的 最 优 册 组 
合 系数 隆 会 依赖 于 信号 的 菜 些 示 知 的 统计 量 ， 我 们 将 利用 信号 序 
列 给 出 这 些 未 知 草 的 递 推 估计 方法 ， 使 这 样 的 最 优 西 组 合适 应 性 
滤波 算法 是 可 以 实现 的 ， 

根据 式 (8.5.1) ~ (8.5.5) 98 (8.5. L4), 7 


4d. 2 I dg. ($? cud y 
A Fy yr E(X A Yn + Ma) = vj Wa ru) 
= E (v. +> asd Y "53 ud) 
=1 ` 1-1 
= Eyy +E > hrid AIS AHY RAAT, 
= 1-1 
(8.5.15) 


TRI 


$3.3 fee SRA eR Iro D Pb | BE "^T 


= Ey B, (8.5.16) 
D- Ej; - (4.2 S okt) (et Stt) 
=f) eEuuDat, | (8.5.17) 


FACT 1.9) 50 (8.5,15)~ (8.5.17), 我们 有 
min Ea y,- if, | - tr D— B*Á* B) 
a | T ¥ d. . Lj M 
Wc tr( D+ Lt; Duui-—B ( ATI AM) H ) 
(8.5.18) 
MET, RITER ee SBS LEA C US T BEAMER 
tr (> wD Br ( A +Š: MAAD) B ) 
«gin (onerosa) 
| (8.5.10) 
其 中 $u, S n T. 


利用 定理 8.3.1, 我 们 不 加 证 明 可 得 到 下 面 的 定理 ， 

EE 8.0.1 RSH EK (8.5.1) ~ (85.5), MEA 
(8.5.48) 和 (8.5. 均 ) 记 确定 的 最 小 均 方 意义 下 最 优 凸 组 合 系数 阵 
为 

x-(S as) as (Dr) Dr, isp, jeg, 

(8.5.20) 

这 时 , 容易 验证 


min E Loy, T ih |? 


-v(n-(mb3) -B (AME » ) B) 


<tr(D+D,—B*(A+ Aj) B), Vexp, j«q, 
(8.5.21) 


s-d2B-(As(S AP) y B. (8.5.29) 
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定理 8.5.1 说 明 ， 最 优 凸 组 合 权 系数 仅仅 依赖 于 信号 中 相互 
独立 部 分 的 协 方差 {D} 和 {4 ép, j«g. 如 果 这 些 都 是 预先 
已 知 的 , 我 们 立即 可 按 传 统 的 办 法 构造 适应 狂 滤 波 算法 ， 
Dri Bu Yn Wad WS), (a>0), (8.5.23) 
Jt AS HAE {o,} 为 2* ER (如 我 们 在 87.2 m8 7.8 p 
所 和 做)、 但 是 ， 通 常人 们 并 不 预先 知道 D, 4,， 因 而 不 能 直接 将 
15 fü ui 代 入 式 (8.5.14), 在 算法 (8.5.398) 中 使 用 ， 为 了 获得 可 以 
实现 的 a.s. KAF a" 的 算法 , 我 们 利 用 信号 fy}, UR. dep, 
j«9 的 平稳 性 和 统计 特性 ， 式 (8.5.1)~ (8.5.5}) 可 以 容易 地 得 到 
OH LA IBHEYERURE OS GO HR (ut Q) , dp, ig, PPE TT 
序列 代入 式 (8.5.14), 得 到 


一 ü g | 
Yn = 2 Ag R) Yas >à A5 (n) — I, 

—— fi 

Bans 3 us (n)dd, 3 (n) - I, (8.5.24) 


最 后 将 式 (8.5.24) 中 的 {9,} 和 {六} 带 入 算法 (8.5.28)， 就 得 到 可 
实现 的 最 优 凸 组 合适 应 性 洪波 算法 
ssim, NTN (02, Bust win) ), 
(8.5.25) 
rb AJ Ca) A eh) St RE rb Ay 和 D. AY HER 


A Ty, Vig, lj, — (8.6.26) 


kol 
D (n) == 3 (4 Uf", Vixp, te, (8.5.27) 
RABH(8.5.20) 得到, XJ t<p, J«q 
" (Bran) (Ag) )7*, 当 所 有 Am) ALB, 
ju = fo=1 


An- 1), 否则 ， 
(8.5.28! 
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| (3 (Diln)} ) Q0), 4 Bir Din) AEM, 
i (n — 1), 否则 ， 
(8.5.29) 
六 说 明 上 述 算 法 的 收敛 性 , Bell T ee. 
定理 8.5.2 BS Hii UL xp, iso 满足 


LS tf A+, jg, (8.5.80) 
L Dy A, l5 3, leg, jq, (8.5.81) 
LY vibr — B, wp, FRG, (8.5.82) 
IM -ppi > D, ip, lei, (8.5.88) 
sup Lf gy «coo a.s., ig, jag, (8.5.84) 
sup = > lyh ceo AB ep, jeg, (8.5.85) 


网 由 式 (3.5.25) ~ (8.0.29) Bin DU E KE 
M 8.8. .. a as oy, . 
Ny (1) ——> ^^, pA (n) — us t<p, j«qg, (8.5.86) 


s rare ( A (9 457) ) B, (8.5.87) 

证 明 由 算法 (8.5.26) ~ (8.5.29) 以 及 条 件 (8.5.80), 
(8.5.21)3n(8.5.93) , 定理 的 结论 (8.5.86) 成立 是 显然 的 ， 

mma. 5.80). (8.5.8128 (8.5.20), 知 

1 ` 

ne (> ee nut) 
=> i: LS Vi Why Ay > Ah; "OE MAN 
-A we m (8.5.88) 


j=l 


k RCS. 5.82), RI EAE 


“$0 Ef H1 3E fg ah RELIER A (NE OS ae a S ti 27% 


is (3: Met (3: up) > B, (85.5.39) 


Tb kal “1-1 


TEN 5.34 #1 (8.5.86), 


> 2l NOD Giov) - s oat) ] 
= E > > 2x (Egli CET — Az Re) AYKA 
+A Ck) an — Mt ^) 
-Ld* [MO Butyl (AHH) X) 


Tb kml 


+È (ATE) - "S 0, (8.5.40) 


CRB EAT ABOUT 6.36), 
MM 101 L lay i MU T MT 


et $= Sai) bl gine taj) 7271 


«c $i 2 iot 00 Al (8.5.41) 
MARG. 5.94) 和 (8.5. 86), 对 Ye>0, 存在 Ni, EN, 
= 3 ysyi A 一 Me , bag, j«g, (8.5.49) 
同时 存在 No, 当 mz Ne, 
1 Ml T . ge a . 
IOE palina) Mb tg, j<g, (8.5.48) 


ge & sh (8.5.41) ~ (8.6.49), 3 (8.5.40) ae 
RM 5.38) #1 (8.5.40) nj f8 


AG ha CE) yh X MOD) — A+ Sap) 
(8.5.44) 
类 仆 的 方法 , s (8.5.95), (8.5.86) Fl (8.5.39) 5] 49 
LS (Samu) Buys) SB, (8.5.45) 


4 >à 
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jk HiogRRY.3.1 5024(8.5.44). (8.5.45), Alay fS i E H 
(8.5.25) £ th B (o rf HLS... BT) oz, [] 

至 此 , 我 们 在 无 约束 4 一 0 加 =00) 的 最 小 均 方 意义 下 , 给 出 了 
一 种 最 优 凸 组 合适 记性 滤波 算法 ， 由 于 我 们 还 不 能 放松 所 有 As 
D 可 道 的 假设 ， 这 些 结果 还 不 能 容易 地 推广 到 有 约束 的 更 一 般 情 
Ot. 
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一 个 作品 完成 后 , 特别 在 它 排 印 后 , 作者 往往 会 感到 想 补 充 或 
想 改 动 而 又 无 法 再 变 的 遗 司 ， 近 一 两 年 来 ， 国 外 党 者 及 作者 村 人 
在 随机 逼近 研究 方面 又 取得 一 系列 进展 . 如 有 机 会 改写 本 书 ， 作 
者 会 把 它们 包含 进去 , 但 现在 已 不 可 能 ， 作 为 一 个 补救 ,下面 作 一 
Eod SE p se, 但 不 加 证 明 . 

后 记 文献 [了 j 的 作者 在 对 回归 函数 及 步 长 因子 加 了 一 m RE 
后 , 论述 了 对 量 测 噪声 的 几 个 条 件 的 等 价 性 , 其 中 也 包括 本 书 的 条 
件 A2.4.9, 从 定理 3.4.3 的 证 明 可 以 看 出 ， 它 们 都 等 价 于 以 下 条 
$F: 

RMRJ e, BTS} HMA, ame ten 使 


um 
4 CL) 一 {Bs 
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(BH, DEF fE RAH EA eR SCRI 2 KANTIT RAG 
才 成 立 ， 在 这 些 附 加 条件 下 , 当 二 2.4.3 成 立时 ,如 果 。 — 2", 那么 
{a,b SBA, 于 是 &2.4.3 rit o. STRE Cs) Bp, 所 以 A2.4.3 
等 价 于 1 mun Te? 

lim lim sup 7; | 之 Eii | =0, VT,C (0, T), (后 2) 


也 就 是 要 求 它 对 整个 序列 {3} 都 成 让 . 

但 实际 上 , 这 些 “ 等 价 条 忻 ” 本 身 并 不 等 价 , 相 比 之 下 ， 以 本 书 
的 A2.4.8 最 弱 ， 因 为 未 证 定理 之 前 ，{%,} 本 向 是 否 有 界 也 不 清 
oe, AR TRO REC OE. 所以 条 件 ( 后 2 不 好 验证 ， 而 条 件 
A2.4.8 只 要 验证 它 在 收 合 子 列 {49,。,.} 上 成 立 ， 这 就 容易 得 多 . 这 
一 点 在 第 六 章 的 定理 证 明 中 , 已 经 看 到 ,那里 验证 了 条 件 A2.4.3, 
但 在 证 明 {2,} 收 人 襄 或 有 界 前 要 直接 验证 (后 1) 或 (后 3) 却 几乎 是 
不 可 能 的 ， 在 后 记 文 献 3 一 4] 中 ， 我 们 也 成 功 地 驻 证 了 A2.4.3, 
TERRO 1) 2k Ur 25, 是 很 难 想象 的 ， 
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定理 3.1. 工 是 分 析 算 法 收 敏 性 的 强 有 力 工具 , 利用 这 个 定理 ， 
RIER TERRI P ESS PL, RL Sg KW E 
Pa uic St [8] E^, 一 个 适应 镇 定 问题 中 的 参数 选择 问题 “， 以 及 
在 DEDS 中 的 参数 优化 问题 中 ,在 后 记 文 献 [6] 中 对 这 类 工作 有 
一 个 概述 , 在 这 里 无 法 一 一 叙述 , 但 后 记 文 献 [ 引 中 的 结果 , 对 定理 
3.1. AR AS RE EGRE, 

AG KW 算法 , 每 算 一 步 需 要 20 RI CRLCS 1.290), 05 
I 很 大 时 , 尤为 不 便 ， 后 记 文献 [8] 中 建议 用 随机 差分 , 每 算 一 步 ， 
只 需 二 个 量 测 , 供 为 使 算法 收 伊 ， 后 记 文 献 [8] 中 所 用 条 件 十 分 可 
Aj 利用 定理 3.1.1， 得 到 其 机 差分 下 KW 算法 新 的 收敛 定理 ， 
去 掉 了 后 记 文献 [8] 中 所 用 的 五 个 限制 性 条 件 . 

BAS i=l, en 0G =1，2,…' 是 独立 同 分 布 的 随机 变量 
RR, EAL=0, At «e, EA: A)=0, 1/AL «b, a, b HER 
% id A= [Ak A] 

fi = ADS Us ar! ， 
B CN RC. RAR AME-NA, RAPA 


iim (ay Heu) + ma, Yiyi AO — Cy) TE, Sto M 
Scot NN HR IM ES, 


组 成 差分 
yao Hi Men g, 
EN hs t ery) — hn ~ ty Ay) n [4 i4 1 9 
后) 
Oxia = (后 二) 


定理 1 UD fe) 2h.) WEAR Lipsehtiz HF fle”) 
—0, f(a) #0, Vows", a? Jk AC MRA, 2) EER E co 
及 矢量 了 :使 sup hm Akia), 3) Midis AF an, te F: 


Gy 0, Cy > 0, Cah, x i OO, HART pe (0, 1€ > af- 


后 to 27 | 


3B 4 95(3.1.8) R (3.1.4) PA year 由 (后 BAH, Ma, a, s. 
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使 得 


Sl oo a. B., vi 550 8.8. (后 5) 
El GAl Cx or 
下 面 的 定理 给 出 使 (后 D) IR VB SEA AR T, 
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E 83.2 中 我 们 给 出 了 算法 的 收敛 速度 ,从 条 件 (3.2.1) 看 出 
hea?) — H0, PENAL. 在 后 记 文献 [7] 中 我 们 研究 
了 退化 情形 ; hola") =0 时 的 收敛 速度 ， 当 步 长 因子 为 ww= 一 5-， 
O<a<t 时, 从 定理 3.2.1 看 出 , 对 非 退 化 情形 ,收敛 速 度 为 | 呈 .一 
|= o(n7*5), 所 以 当 om LI ACRE ARF a€ (0, 1) 时 的 收敛 速 
度 ， 但 对 退化 情形 ， 情 况 恰恰 相 反 ，a= + 时 的 收敛 速度 劣 于 ac 
(0, 巧 时 的 收敛 速度 ， 这 可 以 从 下 面 的 定理 叫 可 以 看 出 ， 

ERS 设 成 立 以 下 条 件 . 
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5) 量 测 噪声 {ed 满 中 条件， 总 ox (logaz eco 那么 由 式 
(8.1.8), (3.1.4) IB f o, 有 如 下 收敛 速 度 
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而 对 t= 1 时 , Ci 全 的 上 界 达 到 . 
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